关于爬虫使用代理IP
我尝试使用代理IP的时候从来没有成功过(我怀疑是我使用的IP的问题)有没有大佬可以贴一个成功使用了代理IP的代码图
或者是给个可用的IP(当然最好是前者 因为它包含了后者)
跪谢 使用代理出现访问失败,服务器拒绝访问等等问题的话,就是代理IP失效了,成功访问的话,会返回状态码200
网络上的代理都是这一秒可以下一秒不行了,你只能靠靠运气用用网上的 IP:
快代理 --> https://www.kuaidaili.com/free/
IP 查询网 --> http://ip.yqie.com/ipproxy.htm
你知道那样可以成功代理就好,这里附带下小甲鱼代理那课的代码,只是网站不一样:
import urllib.request
url = 'http://httpbin.org/get'
handler = urllib.request.ProxyHandler({'http':'113.195.225.101:9999'})
opener = urllib.request.build_opener(handler)
opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36')]
urllib.request.install_opener(opener)
response = urllib.request.urlopen(url)
html = response.read().decode()
print(html)
如果出现 : urllib.error.URLError: <urlopen error 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。>
那么就是这个 IP 失效了,你继续换 IP 吧,实在不行就去 买个 IP ,或者有写 IP 网站好像注册可以免费送,你自己去百度百度吧~
页:
[1]