[已解决]爬虫求助

fc5igm

目标是爬取下图中的网页信息


网址链接：https://www.csindex.com.cn/#/indices/family/list?index_series=5

为此，写了如下代码

1. import urllib
   
2. import json
   
3. 
   
4. headers={'Accept': r'application/json, text/plain, */*', 'User-Agent': r'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36 Edg/109.0.1518.78'}
   
5. url=r'https://www.csindex.com.cn/csindex-home/index-list/query-index-item'
   
6. data='{"sorter":{"sortField":"null","sortOrder":null},"pager":{"pageNum":1,"pageSize":10},"indexFilter":{"ifCustomized":null,"ifTracked":null,"ifWeightCapped":null,"indexCompliance":null,"hotSpot":null,"indexClassify":["16","18"],"currency":null,"region":["china_mainland"],"indexSeries":["6","1","2","3"],"undefined":null}}'
   
7. data = urllib.parse.urlencode(json.loads(data)).encode('utf-8')
   
8. opener = urllib.request.build_opener()
   
9. request = urllib.request.Request(url, headers=headers,data=data)
   
10. response = opener.open(request,timeout=10).read().decode('utf-8', 'ignore')

复制代码

然后获得的反馈是
'{"code":"500","msg":"服务器异常,请联系管理员","data":null,"success":false}'

尝试在headers中加入cookie也毫无变化。请问这种情况下应该怎么办？

最佳答案

月排行榜 / 总排行榜

isdkz

2023-2-6 17:16:15

我试了一下，这个接口并没有反爬机制，所以 UA、Referer、Cookie 都不需要

data你直接原始数据用字符串编码就好，然后 headers 通过 Content-Type 告诉他 data 里面的是什么类型

1. import urllib.request
   
2. import json
   
3. 
   
4. headers={'Content-Type': 'application/json;charset=UTF-8'}
   
5. url=r'https://www.csindex.com.cn/csindex-home/index-list/query-index-item'
   
6. data='{"sorter":{"sortField":"null","sortOrder":null},"pager":{"pageNum":1,"pageSize":10},"indexFilter":{"ifCustomized":null,"ifTracked":null,"ifWeightCapped":null,"indexCompliance":null,"hotSpot":null,"indexClassify":null,"currency":null,"region":null,"indexSeries":["5"],"undefined":null}}'
   
7. data = data.encode('utf-8')
   
8. opener = urllib.request.build_opener()
   
9. request = urllib.request.Request(url, headers=headers,data=data)
   
10. response = opener.open(request,timeout=10).read().decode('utf-8', 'ignore')
    
11. print(response)

复制代码

跳转到最佳答案楼层

isdkz

我试了一下，这个接口并没有反爬机制，所以 UA、Referer、Cookie 都不需要

data你直接原始数据用字符串编码就好，然后 headers 通过 Content-Type 告诉他 data 里面的是什么类型

1. import urllib.request
   
2. import json
   
3. 
   
4. headers={'Content-Type': 'application/json;charset=UTF-8'}
   
5. url=r'https://www.csindex.com.cn/csindex-home/index-list/query-index-item'
   
6. data='{"sorter":{"sortField":"null","sortOrder":null},"pager":{"pageNum":1,"pageSize":10},"indexFilter":{"ifCustomized":null,"ifTracked":null,"ifWeightCapped":null,"indexCompliance":null,"hotSpot":null,"indexClassify":null,"currency":null,"region":null,"indexSeries":["5"],"undefined":null}}'
   
7. data = data.encode('utf-8')
   
8. opener = urllib.request.build_opener()
   
9. request = urllib.request.Request(url, headers=headers,data=data)
   
10. response = opener.open(request,timeout=10).read().decode('utf-8', 'ignore')
    
11. print(response)

复制代码

fc5igm

isdkz 发表于 2023-2-6 17:46
我试了一下，这个接口并没有反爬机制，所以 UA、Referer、Cookie 都不需要

data你直接原始数据用字符串 ...

我试了一下，问题好像出在了

1. data = urllib.parse.urlencode(json.loads(data)).encode('utf-8')

复制代码

这行代码上。

你用的

1. data = data.encode('utf-8')

复制代码

返回的数据是

1. b'{"sorter":{"sortField":"null","sortOrder":null},"pager":{"pageNum":1,"pageSize":10},"indexFilter":{"ifCustomized":null,"ifTracked":null,"ifWeightCapped":null,"indexCompliance":null,"hotSpot":null,"indexClassify":["16","18"],"currency":null,"region":["china_mainland"],"indexSeries":["6","1","2","3"],"undefined":null}}'

复制代码

而如果用我原文写的那个，返回的则是

1. b'sorter=%7B%27sortField%27%3A+%27null%27%2C+%27sortOrder%27%3A+None%7D&pager=%7B%27pageNum%27%3A+1%2C+%27pageSize%27%3A+10%7D&indexFilter=%7B%27ifCustomized%27%3A+None%2C+%27ifTracked%27%3A+None%2C+%27ifWeightCapped%27%3A+None%2C+%27indexCompliance%27%3A+None%2C+%27hotSpot%27%3A+None%2C+%27indexClassify%27%3A+%5B%2716%27%2C+%2718%27%5D%2C+%27currency%27%3A+None%2C+%27region%27%3A+%5B%27china_mainland%27%5D%2C+%27indexSeries%27%3A+%5B%276%27%2C+%271%27%2C+%272%27%2C+%273%27%5D%2C+%27undefined%27%3A+None%7D'

复制代码

可是我看网上都是用的

1. data = urllib.parse.urlencode(data).encode('utf-8')

复制代码

这样的代码。为什么在这里用反而会错误了呢？
什么时候应该用

1. data = data.encode('utf-8')

复制代码

又什么时候应该用parse呢？

isdkz

fc5igm 发表于 2023-2-6 18:01
我试了一下，问题好像出在了

这行代码上。

首先，用 urllib 这个库是基于字节来操作的，所以不管怎样都要编码成字节码

然后就是数据的类型了，urllib.parse.urlencode 是将一个字典变成一个 url 参数的格式（a=1&b=2这种格式)，数据类型也就是 application/x-www-form-urlencoded

而通过开发者工具看到的post数据的原始格式（raw）就是一个类似于字典的数据，也就是 json，而 json 数据对应的 Content-Type 就是 application/json，因为 Content-Type 的默认值不是这个，所以要自己在 headers 中指出，不然也是会出错的

总而言之，在开发者工具中看 payload 的时候看 raw 格式，raw 是怎样的就要保持不变，然后通过 Content-Type 告诉服务器传的 payload 的格式

fc5igm

isdkz 发表于 2023-2-6 18:13
首先，用 urllib 这个库是基于字节来操作的，所以不管怎样都要编码成字节码

然后就是数据的类型了， ...

十分感谢。

LYWX

isdkz 发表于 2023-2-6 17:16
我试了一下，这个接口并没有反爬机制，所以 UA、Referer、Cookie 都不需要

data你直接原始数据用字符串 ...

6