疯子阿海 发表于 2022-4-25 23:50:34

header里传cookie

这两天在做爬虫，爬取网站里的一些信息，但是需要登陆网站，应该怎么敲python代码？

例如：
import requests
import json

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36 Edg/100.0.1185.50'
}
# url = 'https://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'
url = 'https://fanyi.baidu.com/sug'
word = input('请输入一个单词:')
data = {
    'kw':word
}
response = requests.post(url=url,data=data,headers=headers,)
dir_json=response.json()
fileName = word +'.json'
fp = open(fileName,'w',encoding='Utf-8')
json.dump(dir_json,fp=fp,ensure_ascii=False)
print('over!!!')

wp231957 发表于 2022-4-26 08:19:09

有道不需要登录

疯子阿海 发表于 2022-4-26 08:47:42

wp231957 发表于 2022-4-26 08:19
有道不需要登录

我只是举个例子，不知道代码应该添加在哪里

wp231957 发表于 2022-4-26 08:57:45

疯子阿海 发表于 2022-4-26 08:47
我只是举个例子，不知道代码应该添加在哪里

字典晓得不，headers下面有很多key    cookie只是它的一个key   所以它和ua并列就可以

疯子阿海 发表于 2022-4-26 09:10:38

wp231957 发表于 2022-4-26 08:57
字典晓得不，headers下面有很多key    cookie只是它的一个key   所以它和ua并列就可以

那我应该怎么敲代码，来实现输入用户名，密码。或者说，我该学习哪些内容

wp231957 发表于 2022-4-26 09:12:11

疯子阿海 发表于 2022-4-26 09:10
那我应该怎么敲代码，来实现输入用户名，密码。或者说，我该学习哪些内容

一般我们都用selenium模块

Stubborn 发表于 2022-4-26 11:22:31

本帖最后由 Stubborn 于 2022-4-26 11:26 编辑

疯子阿海 发表于 2022-4-26 09:10
那我应该怎么敲代码，来实现输入用户名，密码。或者说，我该学习哪些内容

使用Session来维持对话。登录也会向服务器发送请求，服务器响应，设置我们的浏览器cookie。抓包登录请求，需要什么参数，打包发送服务器就可以

不要问我Session怎么用，百度，requests Session教程

疯子阿海 发表于 2022-4-26 15:44:49

wp231957 发表于 2022-4-26 09:12
一般我们都用selenium模块

谢谢

疯子阿海 发表于 2022-4-26 15:45:28

Stubborn 发表于 2022-4-26 11:22
使用Session来维持对话。登录也会向服务器发送请求，服务器响应，设置我们的浏览器cookie。抓包登录请 ...

谢谢
页: [1]
查看完整版本: header里传cookie