非凡 发表于 2022-5-16 12:54:50

求助，关于使用get发送请求时需携带header的问题

目前在尝试爬一个网站
网页链接 = https://cattendee.abstractsonline.com/meeting/10517/search?query=%40AllPosters%7EYes&type=presentation&view=appendToCards&initialSearchId=70400&searchId=70400
我需要爬取的数据url 是 ：https://www.abstractsonline.com/oe3/Program/10517/Search/70400/Results?page=1&pagesize=25&sort=1&order=asc

代码如下
import requests

url = 'https://www.abstractsonline.com/oe3/Program/10517/Search/70400/Results?page=1&pagesize=25&sort=1&order=asc'
Backpack = 'af5bbcda-ef07-458b-9e74-1c02913eed0c'

headers = {
            'Accept': 'application/json',
            'Backpack': Backpack,         #这是身份认证，网站每天会更新，须去网页复制获取
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36',
            }

res = requests.session()
response = res.get(url, headers=headers, timeout=3)

使用get发送请求需要携带一些header，其中的 Backpack = 'af5bbcda-ef07-458b-9e74-1c02913eed0c'
他在网页的这个位置

但这个他是每天会变化的。1、有什么办法可以在通过代码自动获取的到Backpack？2、在网页上的数据包除了第一个数据包，其它的包请求头基本上都带了这个参数，这些数据包是怎么获取到这个参数写进请求头里的。

suchocolate 发表于 2022-5-16 12:54:51

{:10_256:}

非凡 发表于 2022-5-16 22:30:12

我找到了获取这个数据包了
url = 'https://www.abstractsonline.com/oe3/Backpack/create'

这数据包是给POST请求，但是发送请求都是的到400反馈
headers 和data 都是搬得抓到的包的来用，但一样是400反馈，求大神帮忙看看问题在哪
import requests
# headers = { 'Accept': 'application/json',
#             'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36'}

headers1 = {
'Accept': 'application/json',
'Accept-Encoding': 'gzip, deflate, br',
'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
'caller': 'debug',
'Connection': 'keep-alive',
'Content-Length': '62',
'Content-Type': 'application/json',
'Host': 'www.abstractsonline.com',
'Origin': 'https://cattendee.abstractsonline.com',
'Referer': 'https://cattendee.abstractsonline.com/',
'sec-ch-ua': '" Not A;Brand";v="99", "Chromium";v="101", "Microsoft Edge";v="101"',
'sec-ch-ua-mobile': '?0',
'sec-ch-ua-platform': '"Windows"',
'Sec-Fetch-Dest': 'empty',
'Sec-Fetch-Mode': 'cors',
'Sec-Fetch-Site': 'same-site',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.64 Safari/537.36 Edg/101.0.1210.47',
}

url1 = r'https://www.abstractsonline.com/oe3/Backpack/create'
data = {"Username":"backpack","Password":"89j34jks98cnjks989p;nfs44"}

res = requests.session()
response = res.post(url1, headers=headers1, timeout=3, data=data)





非凡 发表于 2022-5-16 22:40:52

非凡 发表于 2022-5-16 22:30
我找到了获取这个数据包了
url = 'https://www.abstractsonline.com/oe3/Backpack/create'



非凡 发表于 2022-5-16 22:42:04

非凡 发表于 2022-5-16 22:40


已经解决了~~~~
由于悬赏不能给自己，那我把悬赏给第一个回复我的人吧
{:9_237:}
页: [1]
查看完整版本: 求助，关于使用get发送请求时需携带header的问题