[已解决]爬虫中request payload

小小鹏

1. import requests
   
2. import json
   
3. 
   
4. def get_comments(url):
   
5.    headers = {
   
6.     "accept": "*/*",
   
7.     "accept-encoding": "gzip, deflate, br",
   
8.     "accept-language": "zh-CN,zh;q=0.9",
   
9.     "content-length": "278",
   
10.     "content-type": "application/json",
    
11.     "cookie":"_abtest_userid=0f540837-6c5a-4629-aa88-93ba1bfec570; _RSG=pHqDcQKOqkD92.7L6HsBL8; _RDG=28b4f4d49352f22e56153739a68cf82eae; _RGUID=dbb46146-a637-4473-854b-d911951fe089; MKT_CKID=1591713956511.w9k7w.9opk; _ga=GA1.2.1020029856.1591713957; _RF1=119.39.127.107; Session=smartlinkcode=U130709&smartlinklanguage=zh&SmartLinkKeyWord=&SmartLinkQuary=&SmartLinkHost=; Union=AllianceID=4901&SID=130709&OUID=&createtime=1599095310&Expires=1599700110468; MKT_CKID_LMT=1599095310492; MKT_Pagesource=PC; nfes_isSupportWebP=1; _jzqco=%7C%7C%7C%7C1599095310630%7C1.1301033936.1591713956505.1599095310501.1599095863824.1599095310501.1599095863824.0.0.0.3.3; __zpspc=9.2.1599095310.1599095863.2%233%7Cwww.sogou.com%7C%7C%7C%7C%23; _bfi=p1%3D290510%26p2%3D290510%26v1%3D4%26v2%3D3; _bfa=1.1591713953612.3xeul0.1.1591713953612.1599095307538.2.5; _bfs=1.4",
    
12.     "cookieorigin":"https://you.ctrip.com",
    
13.     "origin": "https://you.ctrip.com",
    
14.     "referer": "https://you.ctrip.com/sight/lijiang32/3049.html",
    
15.     "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.81 Safari/537.36 SE 2.X MetaSr 1.0"
    
16.     }
    
17.    data = {"_fxpcqlniredt": "09031090311113380393"}
    
18.    proxies = {"http":"http://103.146.184.77",
    
19.             "https:":"https://103.146.184.77"
    
20.            }
    
21.    payload = {
    
22.         "channelType": "2" ,                  
    
23.         "collapseType": "0",
    
24.         "commentTagId": "0",
    
25.         "pageIndex":"1",
    
26.         "pageSize": "10",
    
27.         "poiId": "75919",
    
28.         "sortType":" 3",
    
29.         "sourceType": "1",
    
30.         "starType": "0",
    
31.         "auth": '""',
    
32.         "ctok": '""',
    
33.         "cid": "09031090311113380393",
    
34.         "cver": "1.0",
    
35.         "extension": "[]",
    
36.         "lang": "01",
    
37.         "sid": "8888",
    
38.         "syscode": "09",
    
39.         "xsid": '""'
    
40.         }   
    
41.    res = requests.post(url,headers = headers,params = data,data = json.dumps(payload))
    
42.    return res
    
43.      
    
44.    
    
45.    
    
46. def main():
    
47.     url = "https://m.ctrip.com/restapi/soa2/13444/json/getCommentCollapseList?_fxpcqlniredt=09031090311113380393" #headers>general>request url
    
48.     res = get_comments(url)
    
49.     with open("data.txt","w",encoding="utf-8") as f:
    
50.         f.write(res.text)
    
51.    
    
52. if __name__ == "__main__":
    
53.     main()

复制代码

打印出来的data.txt

                               
登录/注册后可看大图

请问是request payload 解析错误了吗？

最佳答案

月排行榜 / 总排行榜

YunGuo

2020-9-3 14:54:04

1. import requests
   
2. import json
   
3. 
   
4. 
   
5. url = 'https://m.ctrip.com/restapi/soa2/13444/json/getCommentCollapseList?_fxpcqlniredt=09031100412019912485'
   
6. 
   
7. headers = {
   
8.     'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
   
9.                   '(KHTML, like Gecko) Chrome/84.0.4147.135 Safari/537.36'
   
10. }
    
11. 
    
12. data = {
    
13.     'arg': {'channelType': 2,
    
14.             'collapseType': 0,
    
15.             'commentTagId': 0,
    
16.             'pageIndex': 1,
    
17.             'pageSize': 10,
    
18.             'poiId': 75919,
    
19.             'sortType': 3,
    
20.             'sourceType': 1,
    
21.             'starType': 0
    
22.             },
    
23.     'head': {
    
24.         'auth': '',
    
25.         'cid': '09031100412019912485',
    
26.         'ctok': '',
    
27.         'cver': '1.0',
    
28.         'extension': [],
    
29.         'lang': '01',
    
30.         'sid': '8888',
    
31.         'syscode': '09',
    
32.         'xsid': ''
    
33.         }
    
34.     }
    
35. 
    
36. re = requests.post(url, headers=headers, data=json.dumps(data))

复制代码

你那个payload写错了，里面应该写成两个字典。这样写就好了。

跳转到最佳答案楼层

1q23w31

浏览器直接访问，就是这个字符串啊

小小鹏

1q23w31 发表于 2020-9-3 10:33
浏览器直接访问，就是这个字符串啊

我把payload里面的head去掉了。然后就可以得到data.txt数据了，虽然我也不知道为什么会这样

1q23w31

小小鹏 发表于 2020-9-3 10:36
我把payload里面的head去掉了。然后就可以得到data.txt数据了，虽然我也不知道为什么会这样

什么意思，建议发个图说明

小小鹏

1q23w31 发表于 2020-9-3 11:43
什么意思，建议发个图说明

                               
登录/注册后可看大图

YunGuo

1. import requests
   
2. import json
   
3. 
   
4. 
   
5. url = 'https://m.ctrip.com/restapi/soa2/13444/json/getCommentCollapseList?_fxpcqlniredt=09031100412019912485'
   
6. 
   
7. headers = {
   
8.     'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
   
9.                   '(KHTML, like Gecko) Chrome/84.0.4147.135 Safari/537.36'
   
10. }
    
11. 
    
12. data = {
    
13.     'arg': {'channelType': 2,
    
14.             'collapseType': 0,
    
15.             'commentTagId': 0,
    
16.             'pageIndex': 1,
    
17.             'pageSize': 10,
    
18.             'poiId': 75919,
    
19.             'sortType': 3,
    
20.             'sourceType': 1,
    
21.             'starType': 0
    
22.             },
    
23.     'head': {
    
24.         'auth': '',
    
25.         'cid': '09031100412019912485',
    
26.         'ctok': '',
    
27.         'cver': '1.0',
    
28.         'extension': [],
    
29.         'lang': '01',
    
30.         'sid': '8888',
    
31.         'syscode': '09',
    
32.         'xsid': ''
    
33.         }
    
34.     }
    
35. 
    
36. re = requests.post(url, headers=headers, data=json.dumps(data))

复制代码

你那个payload写错了，里面应该写成两个字典。这样写就好了。