爬虫被对方服务器限制

金刚 · 发表于 2019-5-17 16:39:22

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

写的爬虫程序可以正常爬取内容来着，后来过了2天吧，就不能访问了。报403forbidden错误。网上查了下原因是，被对方服务器把IP封闭了。

我的疑问是：代码里写的是代理IP,页添加了headers信息了。我换其他的代理IP爬取网站还是不行，是不是把我的本地IP也禁止掉了呀？还有查了下，有分透明代理，匿名代理，高匿代理。之前不知道来着，可能不小心用了透明代理，对方服务器直接封了我的本地IP了，然后用别的IP地址也访问不了了，使用代理IP对方服务器也是可以封我的本地IP吗？

_谪仙 · 发表于 2019-5-17 17:17:21

你可以试下把cookies也换了

yjsx86 · 发表于 2019-5-17 19:42:32

如果是透明代理确实可以查询到你的真实ip
普匿与高匿不会暴露你的真实ip
普匿是对方知道你代理但是不知道你的真实ip
高匿是对方以为你的代理ip就是真实ip

金刚 · 发表于 2019-5-17 20:58:30

慢慢看吧，找找解决方式

Stubborn · 发表于 2019-5-17 21:01:19

建议买代理

金刚 · 发表于 2019-5-18 17:04:48

Stubborn 发表于 2019-5-17 21:01
建议买代理

发布爬虫帖子的大佬啊，嗯，

账号		自动登录	找回密码
密码			立即注册

爬虫被对方服务器限制

马上注册，结交更多好友，享用更多功能^_^

浏览过的版块