java2python 发表于 2020-6-14 17:40:55

著名代理被我搞坏了,怎么办?

应该是没办法。。。下面这个地址,只要是鱼C的爬虫,都能看见
https://www.xicidaili.com/nn/
上次下载了Twilight6的IP测试,其实我对这些网络的东西不太懂。然后觉得他单个IP复制,然后测试太慢了,再说他程序本身就是开线程的,就把他的detection_ip改成了detection_page_ip,就是一次测试显示出来一页里的所有代理。一个一个太烦了。不过出问题了,试了几次,到今天搞的时候,向https://www.xicidaili.com/nn/要代理,返回数量是0,不是一次两次,基本就是被拉黑了,这下,这个著名代理用不了了。怎么办?

Twilight6 发表于 2020-6-14 17:41:40




噗哈哈 看见我 自己了 {:10_245:}我可真是祸害

Twilight6 发表于 2020-6-14 17:44:26

本帖最后由 Twilight6 于 2020-6-14 17:48 编辑


你用正常浏览器试着访问: https://www.xicidaili.com/nn/

看看行不行正常访问上面的网站,可以正常访问说明没有把你拉黑

我那个完全只爬 IP 是爬这个网站,但是测试IP是否可用是另一个网站,那个网站不会把你拉黑IP

测试IP的那个网站不会把你拉黑,你一次性爬几页可用,爬多页确实容易被拉黑,我做这个的时候就被拉黑两次

冷却半小时以上一般就会解除了吧~

java2python 发表于 2020-6-14 17:48:33

点了https://www.xicidaili.com/nn/,浏览器开始搜索的症状,然后突然停止,空白页面被返回,99%是被拉黑了。

Twilight6 发表于 2020-6-14 17:51:17

java2python 发表于 2020-6-14 17:48
点了https://www.xicidaili.com/nn/,浏览器开始搜索的症状,然后突然停止,空白页面被返回,99%是被拉黑了 ...

对 我被拉黑也是这样哈哈,这没办法的 只能等后台把你解除,一般不会超过几个小时就好了

或者你第一次爬用自己的IP ,爬到一个可用的马上切IP到那个过去 继续爬其他 的

java2python 发表于 2020-6-14 17:54:03

想想觉得有点奇怪,我从他那里得到IP列表,接下来我这么和那些IP测试,实际与它不发生关系的,他为何拉黑我?

qiuyouzhi 发表于 2020-6-14 18:13:01

java2python 发表于 2020-6-14 17:54
想想觉得有点奇怪,我从他那里得到IP列表,接下来我这么和那些IP测试,实际与它不发生关系的,他为何拉黑我 ...

你从他那里得到IP列表,这叫不发生关系?

均昊山 发表于 2020-6-14 18:17:16

{:10_334:}要不然网站服务器被你爬崩了

java2python 发表于 2020-6-14 18:21:25

qiuyouzhi 发表于 2020-6-14 18:13
你从他那里得到IP列表,这叫不发生关系?

是这样的,我从他那里得到代理列表,接下来我是一个一个测试,还是用thread一起全部测试,他应该是不知道的,对不对?

qiuyouzhi 发表于 2020-6-14 18:46:52

java2python 发表于 2020-6-14 18:21
是这样的,我从他那里得到代理列表,接下来我是一个一个测试,还是用thread一起全部测试,他应该是不知道 ...

你从他那里得到代理列表他不知道?

java2python 发表于 2020-6-14 18:59:54

qiuyouzhi 发表于 2020-6-14 18:46
你从他那里得到代理列表他不知道?

对,因为测试的时候,还是拿他做代理,所以是惊动了他
如果测试的时候不用他做代理,只用他来取得列表,实际我怎么测试,他是不知道的。。。

java2python 发表于 2020-6-14 19:12:35

其实需要的只是代理列表,得到这些列表后,去测试的时候,不应该再用https://www.xicidaili.com/nn/做代理,这样的话,这个著名代理,他其实不知道你在干吗,只知道你问他要了IP列表而已。。。
页: [1]
查看完整版本: 著名代理被我搞坏了,怎么办?