[已解决]爬虫遇上IP限制时候该如何处理，有哪些解决方法。。

65230215

如题。我在爬取一个网贷平台的信息。一共70w个样本。比较急着收集，所以上了多线程，结果发现被服务器禁IP了。
试着先爬取西祠的代理IP，再进行爬取，但效果还不如本地IP，响应慢而且还是会被封。。
网上查说可以用squid自动维护HttpConnection池，再进行文本爬取。不知道大家对这个是否了解。。

最佳答案

月排行榜 / 总排行榜

zerotens

2016-1-22 16:50:08

还是老老实实买代理吧，然后也可以用你听到的那个，也可以自己维护。

跳转到最佳答案楼层

hldh214

ip被限制了除了代理应该是没有其他办法了,

zerotens

还是老老实实买代理吧，然后也可以用你听到的那个，也可以自己维护。