python爬虫时的头部header添加问题

kerwin_lui · 发表于 2018-11-13 01:09:30

您需要登录才可以下载或查看，没有账号？立即注册

x

问题：
用requests 库爬虫时，在headers头部添加 “Host”参数有什么作用？
添加和不添加，对返回结果的影响很大吗？（晚上被这一行代码浪费了6个小时找bug！！！！抓狂）

JAY饭 · 发表于 2018-11-13 02:27:54

HOST参数，是你访问的页面的主页地址，就比如这个页面，它的HOST就是fishc.com.cn

天圆突破 · 发表于 2018-11-13 07:30:37

不是全部，有些网站查这个，为的是防盗链，同样还有headers里的后退也是一样道理。

塔利班 · 发表于 2018-11-13 08:07:42

Host 头域：指定请求资源的Intenet主机和端口号
必须表示请求url的原始服务器或网关的位置
HTTP/1.1请求必须包含主机头域，否则系统会以400状态码返回

考拉熊 · 发表于 2018-11-13 09:13:54

过来顶一下

wongyusing · 发表于 2018-11-13 10:58:26

什么网站啊？？
爬取大多数都不需要host参数。
加了反而导致错误。
一般不需要添加该参数

考拉熊 · 发表于 2018-11-13 11:03:52

过来顶一下

kerwin_lui · 发表于 2018-11-26 17:05:04

wongyusing 发表于 2018-11-13 10:58
什么网站啊？？
爬取大多数都不需要host参数。
加了反而导致错误。

是的，我加了后访问错误，但是有些书上说加了不容易被反爬。。。。。

账号		自动登录	找回密码
密码			立即注册