鱼C论坛

 找回密码
 立即注册
查看: 2690|回复: 1

不知道有没有人遇到过爬虫抓不了东西的情况,求解决方法

[复制链接]
发表于 2015-1-9 19:54:40 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
今天看了一天小鱼儿的教程正准备着手写个爬虫试试但是问题出现了。一开始还行但是运行几分钟发现读不了数据
但直接浏览可以打开。就是用软件运行就出不了数据
headers = {'Accept': 'text/html, application/xhtml+xml, */*',
           'Accept-Encoding': 'gzip, deflate, compress',
           'Accept-Language': 'en-us;q=0.5,en;q=0.3',
           'Cache-Control': 'max-age=0',
           'Connection': 'keep-alive',
           'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0',
           'Referer':'http://weixin.sogou.com',
           'X-Forwarded-For':'202.108.22.5'}
coo = requests.get('http://weixin.sogou.com',headers=headers)
r = requests.get('http://weixin.sogou.com/weixin?query=site%3Amp.weixin.qq.com&type=1&page=3&ie=utf8&p=40040100&dp=1&w=01019900&dr=1', headers=headers,cookies=coo.cookies)
print(r.text)
print r.headers
各种办法都不行了。修改header也不可以。不知道哪问题求助一下
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2015-1-9 21:01:25 | 显示全部楼层
练习爬虫不要急哦!等小甲鱼出视频就好啦。如果你急不可耐的话,Python核心编程里面有python2的爬虫入门哦!
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2026-2-14 08:36

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表