抓取代理IP速度问题

你给我等着 · 发表于 2017-8-8 23:16:28

您需要登录才可以下载或查看，没有账号？立即注册

x

在西刺网上抓取的代理IP有良有莠，怎么可以把慢的代理IP检测出来？

yongxi · 发表于 2017-8-9 04:49:40

本帖最后由 yongxi 于 2017-8-9 04:51 编辑

简单啊。 ip抓取出来以后先ping一下就OK了。

具体怎么实现你去百度吧，我就不慢慢打了。

gopythoner · 发表于 2017-8-10 10:11:03

把代理用来请求你要请求的网站，然后设置一个超时
只要超时时间到了还没请求的就是不合格的

多线程去请求，不然很费事

你给我等着 · 发表于 2017-8-11 17:25:34

gopythoner 发表于 2017-8-10 10:11
把代理用来请求你要请求的网站，然后设置一个超时
只要超时时间到了还没请求的就是不合格的

嗯我现在再看多线程，要不然太慢了

账号		自动登录	找回密码
密码			立即注册