爬虫遇到了301问题

yang930808 · 发表于 2019-2-6 15:46:27

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

2019-02-06 15:37:08 [scrapy.core.engine] DEBUG: Crawled (301) <GET http://www.bilibili.com/video/av36570401/> (referer: None)
自己写的爬虫在爬数据的时候遇到了301（一部分网页301，一部分是正常的），网上说设置dontfliter，hettperrorallowed都试过了没有用，这个重定向的网页和原始的网页是一样的。我现在应该怎么解决这个问题

_谪仙 · 发表于 2019-2-6 17:26:44

加延迟或降低请求的数量，放慢抓取速度

yang930808 · 发表于 2019-2-6 17:51:01

_谪仙发表于 2019-2-6 17:26
加延迟或降低请求的数量，放慢抓取速度

我来试下

yang930808 · 发表于 2019-2-7 17:39:56

_谪仙发表于 2019-2-6 17:26
加延迟或降低请求的数量，放慢抓取速度

我调了爬取速度但是还没用我把详细的内容都发出来了

yang930808 · 发表于 2019-2-7 17:40:40

_谪仙发表于 2019-2-6 17:26
加延迟或降低请求的数量，放慢抓取速度

https://fishc.com.cn/thread-130617-1-1.html在这里

账号		自动登录	找回密码
密码			立即注册