鱼C论坛

 找回密码
 立即注册
查看: 2978|回复: 14

爬取网站出现这种情况

[复制链接]
发表于 2019-12-25 17:03:50 | 显示全部楼层 |阅读模式
2鱼币
这样咋办

Inked捕吧获_LI.jpg
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2019-12-25 17:05:24 From FishC Mobile | 显示全部楼层
你要弄哪个网站啊
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2019-12-25 18:08:27 From FishC Mobile | 显示全部楼层
不贴代码,怎么能猜得着?
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2019-12-25 18:13:14 | 显示全部楼层
与网站的对接上出了问题。
网站识别出你那是个爬虫了。
然后就把你的爬虫尅出来了。
这个情况统称:该网站反爬
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2019-12-25 19:02:01 | 显示全部楼层
阴阳神万物主 发表于 2019-12-25 18:13
与网站的对接上出了问题。
网站识别出你那是个爬虫了。
然后就把你的爬虫尅出来了。

应该怎么解决?
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2019-12-25 20:07:01 | 显示全部楼层
加请求头,添加代理池!
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2019-12-26 11:23:54 From FishC Mobile | 显示全部楼层
被反爬了
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2019-12-26 12:14:06 | 显示全部楼层

怎么办啊
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2019-12-26 12:36:01 | 显示全部楼层

你爬的什么网站?
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2020-2-9 21:10:23 | 显示全部楼层
加上这个 headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'}
requests.get 函数加上这个参数:headers = headers
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2020-2-10 06:57:32 | 显示全部楼层
剑指何方?
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2020-2-10 08:50:19 | 显示全部楼层

先发代码
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2020-2-10 17:01:59 | 显示全部楼层
发代码,你是让我们猜谜语吗?
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2020-2-10 22:24:01 | 显示全部楼层
小甲鱼视频里关于爬虫那部分有专门介绍啊,加头包装,用代理IP
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2020-2-12 13:39:57 | 显示全部楼层
你访问该网站太频繁了,被识别成爬虫。解决办法:添加有用的ip代理、设置user-agent、或重新设置抓取时间(time.sleep(n))、实在不行的话,过个几天再抓取,应该就不会出现了。
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-7-5 01:20

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表