requests的get和urllib.request的urlopen 请求百度首页，得到内容不一样，为什么？

哭吧叫吧 · 发表于 2017-1-22 15:44:09

requests的get和urllib.request的urlopen 请求百度首页，得到内容不一样
都不添加cookie和headers
貌似用urlopen打开的内容里有，js和ccs代码？而requests.get缺没有（不确定，求解）

jerryxjr1220 · 发表于 2017-1-22 15:44:10

这个可能和百度的反爬虫策略有关吧。
如果你请求的信息中，不包含你的浏览器的信息，百度就会把你当成爬虫或者其他简易的手机浏览器来处理，给你的反馈信息中去除了javascript代码。
如果你在请求的头部信息中加入浏览器信息，比如：

import requests
header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.100 YaBrowser/16.11.1.673 Yowser/2.5 Safari/537.36'}
res = requests.get('http://www.baidu.com',headers=header)
print(res.text)

复制代码

这样返回的就是完整的包含javascript的执行代码。
至于urllib的urlopen函数是不是默认包含访问的头部信息的倒是没有具体研究过，不过原因的就是这样。
哪怕你用selenium访问也是一样的，selenium是模拟浏览器操作，所以是默认带浏览器的头部信息的。

哭吧叫吧 · 发表于 2017-1-23 08:44:42

求助啊

@版主 @斑竹

哭吧叫吧 · 发表于 2017-1-24 08:21:47

哭吧叫吧 · 发表于 2017-1-24 16:05:43

@小甲鱼
快来人啊，救命啊

账号		自动登录	找回密码
密码			立即注册