昨非 发表于 2020-8-23 11:49:06

关于爬虫代理IP网站

刚刚接触爬虫，在看完甲鱼老师代理IP那集后有意搜索了几个网站，
发现甲鱼老师提供的那个网站打不开，而其他多数都要注册呀什么的搞得挺麻烦，所以有些犹豫，
故在此咨询下诸位前辈平时都是用的哪个代理IP网站{:10_277:}

1q23w31 发表于 2020-8-23 15:33:40

百度随便找一个，不过可用性看运气
https://proxy.mimvp.com/freeopen

昨非 发表于 2020-8-23 15:34:43

1q23w31 发表于 2020-8-23 15:33
百度随便找一个，不过可用性看运气
https://proxy.mimvp.com/freeopen

之前搜了一大堆，广告居多，就犹豫了下，我先看看您这个

昨非 发表于 2020-8-23 22:16:31

1q23w31 发表于 2020-8-23 15:33
百度随便找一个，不过可用性看运气
https://proxy.mimvp.com/freeopen

实测，甲鱼老师课上源码，没有一个成功{:10_266:}

1q23w31 发表于 2020-8-24 07:24:27

本帖最后由 1q23w31 于 2020-8-24 07:27 编辑

昨非 发表于 2020-8-23 22:16
实测，甲鱼老师课上源码，没有一个成功

我测试了两个都能用啊
proxy={'http':'http://101.37.118.54:8888'
    }
proxy={'http':'http://120.79.209.11:3128'
    }
建议多尝试几个

昨非 发表于 2020-8-24 09:46:46

1q23w31 发表于 2020-8-24 07:24
我测试了两个都能用啊




too many connections
或者
gateway time-out

我还是用的甲鱼老师原码
import urllib.request as rq
import random

url ='http://www.whatismyip.com.tw'

iplist=['115.223.7.110:80','115.29.108.117:8118']

proxy_support=rq.ProxyHandler({'http':random.choice(iplist)})

opener= rq.build_opener(proxy_support)


opener.add_handler=[('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 ')]

rq.install_opener(opener)

response=rq.urlopen(url)

html=response.read().decode('utf-8')

print(html)

难道是这么多年python语法或者url啥的有变动？

1q23w31 发表于 2020-8-24 10:07:08

昨非 发表于 2020-8-24 09:46
too many connections
或者
gateway time-out


http://www.whatismyip.com.tw
这个网址需要魔法方法（qiangwai）,普通代理解决不了

昨非 发表于 2020-8-24 10:08:38

1q23w31 发表于 2020-8-24 10:07
http://www.whatismyip.com.tw
这个网址需要魔法方法（qiangwai）,普通代理解决不了

嗯，谢谢老师提供的网站和相关解惑

冰西瓜 发表于 2020-10-14 19:37:43

没用吧
页: [1]
查看完整版本: 关于爬虫代理IP网站