[已解决]求助，关于使用get发送请求时需携带header的问题

非凡

目前在尝试爬一个网站
网页链接 = https://cattendee.abstractsonlin ... &searchId=70400
我需要爬取的数据url 是 ：https://www.abstractsonline.com/ ... ort=1&order=asc

代码如下

1. import requests
   
2. 
   
3. url = 'https://www.abstractsonline.com/oe3/Program/10517/Search/70400/Results?page=1&pagesize=25&sort=1&order=asc'
   
4. Backpack = 'af5bbcda-ef07-458b-9e74-1c02913eed0c'
   
5. 
   
6. headers = {
   
7.             'Accept': 'application/json',
   
8.             'Backpack': Backpack,         #这是身份认证，网站每天会更新，须去网页复制获取
   
9.             'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36',
   
10.             }
    
11. 
    
12. res = requests.session()
    
13. response = res.get(url, headers=headers, timeout=3)

复制代码

使用get发送请求需要携带一些header，其中的 Backpack = 'af5bbcda-ef07-458b-9e74-1c02913eed0c'
他在网页的这个位置

但这个他是每天会变化的。1、有什么办法可以在通过代码自动获取的到Backpack？2、在网页上的数据包除了第一个数据包，其它的包请求头基本上都带了这个参数，这些数据包是怎么获取到这个参数写进请求头里的。

最佳答案

月排行榜 / 总排行榜

suchocolate

2022-5-16 12:54:51

跳转到最佳答案楼层

suchocolate

非凡

我找到了获取这个数据包了
url = 'https://www.abstractsonline.com/oe3/Backpack/create'

这数据包是给POST请求，但是发送请求都是的到400反馈
headers 和data 都是搬得抓到的包的来用，但一样是400反馈，求大神帮忙看看问题在哪

1. import requests
   
2. # headers = { 'Accept': 'application/json',
   
3. #             'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36'}
   
4. 
   
5. headers1 = {
   
6. 'Accept': 'application/json',
   
7. 'Accept-Encoding': 'gzip, deflate, br',
   
8. 'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
   
9. 'caller': 'debug',
   
10. 'Connection': 'keep-alive',
    
11. 'Content-Length': '62',
    
12. 'Content-Type': 'application/json',
    
13. 'Host': 'www.abstractsonline.com',
    
14. 'Origin': 'https://cattendee.abstractsonline.com',
    
15. 'Referer': 'https://cattendee.abstractsonline.com/',
    
16. 'sec-ch-ua': '" Not A;Brand";v="99", "Chromium";v="101", "Microsoft Edge";v="101"',
    
17. 'sec-ch-ua-mobile': '?0',
    
18. 'sec-ch-ua-platform': '"Windows"',
    
19. 'Sec-Fetch-Dest': 'empty',
    
20. 'Sec-Fetch-Mode': 'cors',
    
21. 'Sec-Fetch-Site': 'same-site',
    
22. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.64 Safari/537.36 Edg/101.0.1210.47',
    
23. }
    
24. 
    
25. url1 = r'https://www.abstractsonline.com/oe3/Backpack/create'
    
26. data = {"Username":"backpack","Password":"89j34jks98cnjks989p;nfs44"}
    
27. 
    
28. res = requests.session()
    
29. response = res.post(url1, headers=headers1, timeout=3, data=data)
    
30. 
    
31. 
    
32. 
    
33. 
    
34. 
    

复制代码

非凡

非凡 发表于 2022-5-16 22:30
我找到了获取这个数据包了
url = 'https://www.abstractsonline.com/oe3/Backpack/create'

非凡

非凡 发表于 2022-5-16 22:40

已经解决了~~~~
由于悬赏不能给自己，那我把悬赏给第一个回复我的人吧