[已解决]求大神帮助，爬虫出错问题

dafanshu123

求帮助

最佳答案

月排行榜 / 总排行榜

°蓝鲤歌蓝

2018-2-7 23:07:45

dafanshu123 发表于 2018-2-7 23:04
那直接获取吗？

直接获取

跳转到最佳答案楼层

ba21

看不出，上代码来调试吧

dafanshu123

ba21 发表于 2018-2-7 22:50
看不出，上代码来调试吧

说有非法信息，上不了

dafanshu123

dafanshu123 发表于 2018-2-7 22:52
说有非法信息，上不了

import requests
import json
import pymongo
def get_info(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
    html = requests.get(url,headers = headers)
    json_data = json.loads(html.text)

ba21

dafanshu123 发表于 2018-2-7 22:52
说有非法信息，上不了

。。。。

dafanshu123

ba21 发表于 2018-2-7 22:50
看不出，上代码来调试吧

最后一句报错了

°蓝鲤歌蓝

你爬取下来的网页数据又不是json编码的，应该是不能用json.loads()方法的，
这个方法是把json编码的字符串转换成Python数据结构。

dafanshu123

1. 
   
2. 
   
3. import requests
   
4. import json
   
5. import pymongo
   
6. def get_info(url):
   
7.     headers = {
   
8.         'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
   
9.     html = requests.get(url,headers = headers)
   
10.     json_data = json.loads(html.text)
    
11.     for i in range(88):
    
12.         results = json_data['JHDataList'][i]
    
13.         code = results[code]
    
14.         print(code)
    
15. 
    
16. 
    

复制代码

dafanshu123

°蓝鲤歌蓝 发表于 2018-2-7 23:03
你爬取下来的网页数据又不是json编码的，应该是不能用json.loads()方法的，
这个方法是把json编码的字符串 ...

那直接获取吗？

°蓝鲤歌蓝

dafanshu123 发表于 2018-2-7 23:04
那直接获取吗？

直接获取

dafanshu123

°蓝鲤歌蓝 发表于 2018-2-7 23:07
直接获取

请问如果我只想获取：refePrice的值，怎么获取