1070245317 发表于 2020-7-12 00:16:30

关于爬虫使用代理IP

我尝试使用代理IP的时候从来没有成功过(我怀疑是我使用的IP的问题)
有没有大佬可以贴一个成功使用了代理IP的代码图
或者是给个可用的IP(当然最好是前者 因为它包含了后者)
跪谢

Richard_Chiang 发表于 2020-7-12 00:54:32

使用代理出现访问失败,服务器拒绝访问等等问题的话,就是代理IP失效了,成功访问的话,会返回状态码200

Twilight6 发表于 2020-7-12 07:13:01



网络上的代理都是这一秒可以下一秒不行了,你只能靠靠运气用用网上的 IP:

快代理 --> https://www.kuaidaili.com/free/

IP 查询网 --> http://ip.yqie.com/ipproxy.htm

你知道那样可以成功代理就好,这里附带下小甲鱼代理那课的代码,只是网站不一样:
import urllib.request

url = 'http://httpbin.org/get'

handler = urllib.request.ProxyHandler({'http':'113.195.225.101:9999'})

opener = urllib.request.build_opener(handler)
opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36')]

urllib.request.install_opener(opener)

response = urllib.request.urlopen(url)
html = response.read().decode()
print(html)

如果出现 : urllib.error.URLError: <urlopen error 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。>

那么就是这个 IP 失效了,你继续换 IP 吧,实在不行就去 买个 IP ,或者有写 IP 网站好像注册可以免费送,你自己去百度百度吧~


页: [1]
查看完整版本: 关于爬虫使用代理IP