爬取网站出现这种情况

飘香一剑 · 发表于 2019-12-25 17:03:50

这样咋办

wp231957 · 发表于 2019-12-25 17:05:24

你要弄哪个网站啊

XiaoPaiShen · 发表于 2019-12-25 18:08:27

不贴代码，怎么能猜得着？

阴阳神万物主 · 发表于 2019-12-25 18:13:14

与网站的对接上出了问题。
网站识别出你那是个爬虫了。
然后就把你的爬虫尅出来了。
这个情况统称：该网站反爬

飘香一剑 · 发表于 2019-12-25 19:02:01

阴阳神万物主发表于 2019-12-25 18:13
与网站的对接上出了问题。
网站识别出你那是个爬虫了。
然后就把你的爬虫尅出来了。

应该怎么解决？

最萌毕加索 · 发表于 2019-12-25 20:07:01

加请求头，添加代理池！

流羽星 · 发表于 2019-12-26 11:23:54

被反爬了

飘香一剑 · 发表于 2019-12-26 12:14:06

流羽星发表于 2019-12-26 11:23
被反爬了

怎么办啊

流羽星 · 发表于 2019-12-26 12:36:01

飘香一剑发表于 2019-12-26 12:14
怎么办啊

你爬的什么网站？

小鞋森233 · 发表于 2020-2-9 21:10:23

加上这个 headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'}
requests.get 函数加上这个参数：headers = headers

XiaoPaiShen · 发表于 2020-2-10 06:57:32

剑指何方？

qiuyouzhi · 发表于 2020-2-10 08:50:19

飘香一剑发表于 2019-12-26 12:14
怎么办啊

先发代码

zltzlt · 发表于 2020-2-10 17:01:59

发代码，你是让我们猜谜语吗？

sonicss · 发表于 2020-2-10 22:24:01

小甲鱼视频里关于爬虫那部分有专门介绍啊，加头包装，用代理IP

花少千魅 · 发表于 2020-2-12 13:39:57

你访问该网站太频繁了，被识别成爬虫。解决办法：添加有用的ip代理、设置user-agent、或重新设置抓取时间（time.sleep(n)）、实在不行的话，过个几天再抓取，应该就不会出现了。

帐号		自动登录	找回密码
密码			立即注册