网络爬虫对网站访问次数过多，K掉了怎么设置？

２０年的雨 · 发表于 2014-6-13 19:14:11

您需要登录才可以下载或查看，没有账号？立即注册

x

如题，这几天做一个天涯论坛的爬虫练手，大概功能就是，输入一个帖子地址后，自动爬取该帖楼主发言内容。
今天在天涯上面做了一天的实验。晚上继续实验的时候，发现无法进行了。
网上搜了下，说是访问次数和频率过高，被网站认为攻击行为......
请问该怎么规避这种情况？

huha88 · 发表于 2014-6-14 13:04:04

内置切换代理IP

1012662902 · 发表于 2014-6-14 17:44:50

看一下，顶楼主

一片模糊望尘世 · 发表于 2014-6-17 12:32:45

二楼正解，另外，解析网页的话BeautifulSoup值得你拥有

账号		自动登录	找回密码
密码			立即注册