[已解决]爬虫中json格式问题求助

狗宁

今天写一个爬虫小程序，碰到的网站返回值是一组json数据，可是怎么都解析不出来。问一下大佬们错在哪里呢？
我的部分代码如下：

1. response = requests.post(url,headers,data)
   
2. result = response.json()
   
3. print(response.status_code,'响应成功')
   
4. print(result)

复制代码

报错是这样的：
raise JSONDecodeError("Expecting value", s, err.value) from None
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

通过抓包工具看返回值确实是一组json数据，头疼。。。。

最佳答案

月排行榜 / 总排行榜

1q23w31

2020-8-30 19:02:09

狗宁 发表于 2020-8-30 18:46
可是通过谷歌的工具看确实是json数据，要是被反爬的话 请问一下有什么解决办法吗？

1. import requests
   
2. from lxml import etree
   
3. import json
   
4. 
   
5. # music_name = input("请输入想要下载的名称：")
   
6. url = 'http://www.eggvod.cn/music/'
   
7. data = {
   
8. 'input': '青花瓷',
   
9. 'filter': 'name',
   
10. 'type': 'netease',
    
11. 'page': '1'
    
12. }
    
13. headers = {
    
14.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.135 Safari/537.36',
    
15.     'Host': 'www.eggvod.cn',
    
16.     'Origin': 'http://www.eggvod.cn',
    
17.     'Referer': 'http://www.eggvod.cn/music/?name=%E9%9D%92%E8%8A%B1%E7%93%B7&type=netease',
    
18.     'Accept': 'application/json, text/javascript, */*; q=0.01',
    
19.     'X-Requested-With': 'XMLHttpRequest'
    
20. }
    
21. response = requests.post(url,data,headers=headers)
    
22. result = response.json()
    
23. print(response.status_code,'响应成功')
    
24. print(result)
    
25. 一个爬第三方音乐下载网站的小爬虫
    

复制代码

已改好

跳转到最佳答案楼层

1q23w31

发完整代码看看，这样看只能看出你得到的不是json类型

狗宁

1q23w31 发表于 2020-8-30 18:36
发完整代码看看，这样看只能看出你得到的不是json类型

1. import requests
   
2. from lxml import etree
   
3. import json
   
4. 
   
5. # music_name = input("请输入想要下载的名称：")
   
6. url = 'http://www.eggvod.cn/music/'
   
7. data = {
   
8. 'input': '青花瓷',
   
9. 'filter': 'name',
   
10. 'type': 'netease',
    
11. 'page': '1'
    
12. }
    
13. headers = {
    
14.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.135 Safari/537.36',
    
15. }
    
16. response = requests.post(url,headers,data)
    
17. result = response.json()
    
18. print(response.status_code,'响应成功')
    
19. print(result)
    
20. 一个爬第三方音乐下载网站的小爬虫

复制代码

1q23w31

狗宁 发表于 2020-8-30 18:39

经验证，得到的确实不是json,被反爬了，应该是请求头的问题

狗宁

可是通过谷歌的工具看确实是json数据，要是被反爬的话 请问一下有什么解决办法吗？

1q23w31

狗宁 发表于 2020-8-30 18:46
可是通过谷歌的工具看确实是json数据，要是被反爬的话 请问一下有什么解决办法吗？

1. import requests
   
2. from lxml import etree
   
3. import json
   
4. 
   
5. # music_name = input("请输入想要下载的名称：")
   
6. url = 'http://www.eggvod.cn/music/'
   
7. data = {
   
8. 'input': '青花瓷',
   
9. 'filter': 'name',
   
10. 'type': 'netease',
    
11. 'page': '1'
    
12. }
    
13. headers = {
    
14.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.135 Safari/537.36',
    
15.     'Host': 'www.eggvod.cn',
    
16.     'Origin': 'http://www.eggvod.cn',
    
17.     'Referer': 'http://www.eggvod.cn/music/?name=%E9%9D%92%E8%8A%B1%E7%93%B7&type=netease',
    
18.     'Accept': 'application/json, text/javascript, */*; q=0.01',
    
19.     'X-Requested-With': 'XMLHttpRequest'
    
20. }
    
21. response = requests.post(url,data,headers=headers)
    
22. result = response.json()
    
23. print(response.status_code,'响应成功')
    
24. print(result)
    
25. 一个爬第三方音乐下载网站的小爬虫
    

复制代码

已改好

狗宁

1q23w31 发表于 2020-8-30 19:02
已改好

谢谢大佬

疾风怪盗

1q23w31 发表于 2020-8-30 19:02
已改好

为什么改了headers里面这些，就能读取了？

1q23w31

疾风怪盗 发表于 2020-8-30 20:35
为什么改了headers里面这些，就能读取了？

网站通过headers中的字段来判断你是否为爬虫，常见的反爬措施

疾风怪盗

1q23w31 发表于 2020-8-30 20:42
网站通过headers中的字段来判断你是否为爬虫，常见的反爬措施

所以？多加几个字段？
还是有哪个字段是特殊的？

1q23w31

疾风怪盗 发表于 2020-8-30 20:44
所以？多加几个字段？
还是有哪个字段是特殊的？

这个加什么字段，只能尝试，网站规定的，一般来说 refer host x-requests-with origin是常用的，但不排除有其他字段

疾风怪盗

1q23w31 发表于 2020-8-30 20:52
这个加什么字段，只能尝试，网站规定的，一般来说 refer host x-requests-with origin是常用的，但不排除 ...

好的，谢谢解答