鱼C论坛

 找回密码
 立即注册
查看: 609|回复: 14

爬取网站出现这种情况

[复制链接]
最佳答案
3 
发表于 2019-12-25 17:03:50 | 显示全部楼层 |阅读模式
2鱼币
这样咋办

Inked捕吧获_LI.jpg
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
300 
发表于 2019-12-25 17:05:24 From FishC Mobile | 显示全部楼层
你要弄哪个网站啊
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
124 
发表于 2019-12-25 18:08:27 From FishC Mobile | 显示全部楼层
不贴代码,怎么能猜得着?
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
65 
发表于 2019-12-25 18:13:14 | 显示全部楼层
与网站的对接上出了问题。
网站识别出你那是个爬虫了。
然后就把你的爬虫尅出来了。
这个情况统称:该网站反爬
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
3 
 楼主| 发表于 2019-12-25 19:02:01 | 显示全部楼层
阴阳神万物主 发表于 2019-12-25 18:13
与网站的对接上出了问题。
网站识别出你那是个爬虫了。
然后就把你的爬虫尅出来了。

应该怎么解决?
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-12-25 20:07:01 | 显示全部楼层
加请求头,添加代理池!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-12-26 11:23:54 From FishC Mobile | 显示全部楼层
被反爬了
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
3 
 楼主| 发表于 2019-12-26 12:14:06 | 显示全部楼层

怎么办啊
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-12-26 12:36:01 | 显示全部楼层

你爬的什么网站?
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2020-2-9 21:10:23 | 显示全部楼层
加上这个 headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'}
requests.get 函数加上这个参数:headers = headers
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
124 
发表于 2020-2-10 06:57:32 | 显示全部楼层
剑指何方?
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
113 
发表于 2020-2-10 08:50:19 | 显示全部楼层

先发代码
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
1694 
发表于 2020-2-10 17:01:59 | 显示全部楼层
发代码,你是让我们猜谜语吗?
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
1 
发表于 2020-2-10 22:24:01 | 显示全部楼层
小甲鱼视频里关于爬虫那部分有专门介绍啊,加头包装,用代理IP
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2020-2-12 13:39:57 | 显示全部楼层
你访问该网站太频繁了,被识别成爬虫。解决办法:添加有用的ip代理、设置user-agent、或重新设置抓取时间(time.sleep(n))、实在不行的话,过个几天再抓取,应该就不会出现了。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

小甲鱼强烈推荐上一条 /1 下一条

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1

GMT+8, 2020-2-26 18:19

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表