鱼C论坛

 找回密码
 立即注册
查看: 1481|回复: 2

关于爬虫使用代理IP

[复制链接]
发表于 2020-7-12 00:16:30 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
我尝试使用代理IP的时候从来没有成功过(我怀疑是我使用的IP的问题)
有没有大佬可以贴一个成功使用了代理IP的代码图
或者是给个可用的IP(当然最好是前者 因为它包含了后者)
跪谢
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2020-7-12 00:54:32 | 显示全部楼层
使用代理出现访问失败,服务器拒绝访问等等问题的话,就是代理IP失效了,成功访问的话,会返回状态码200
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-7-12 07:13:01 | 显示全部楼层


网络上的代理都是这一秒可以下一秒不行了,你只能靠靠运气用用网上的 IP:

快代理 --> https://www.kuaidaili.com/free/

IP 查询网 --> http://ip.yqie.com/ipproxy.htm

你知道那样可以成功代理就好,这里附带下小甲鱼代理那课的代码,只是网站不一样:
import urllib.request

url = 'http://httpbin.org/get'

handler = urllib.request.ProxyHandler({'http':'113.195.225.101:9999'})

opener = urllib.request.build_opener(handler)
opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36')]

urllib.request.install_opener(opener)

response = urllib.request.urlopen(url)
html = response.read().decode()
print(html)

如果出现 : urllib.error.URLError: <urlopen error [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。>

那么就是这个 IP 失效了,你继续换 IP 吧,实在不行就去 买个 IP ,或者有写 IP 网站好像注册可以免费送,你自己去百度百度吧~


想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-1-20 01:41

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表