|
|
马上注册,结交更多好友,享用更多功能^_^
您需要 登录 才可以下载或查看,没有账号?立即注册
x
我run了程序之后显示urllib.error.URLError: <urlopen error [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。>,所以这能表示我程序有错吗,还是程序没有错只不过被屏蔽了?
- import urllib.request
- import random
- url = 'http://http://www.ip138.com.tw'
- iplist = ['111.155.124.72:8123','115.46.221.130:8123,''116.28.111.54:808']
- proxy_support = urllib.request.ProxyHandler({'http':random.choice(iplist)})
- opener = urllib.request.build_opener(proxy_support)
- opener.addheaders = [('User-AGENT','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36')]
- opener.open(url)
- response = urlllb.request.urlopen(url)
- html = response.read().decode('utf-8')
- print(html)
复制代码
本帖最后由 和vvv 于 2017-7-24 11:56 编辑
使用代理IP有一个问题,就是必须保证IP的可靠性和稳定性。从网上找的免费代理IP,大多数是不可用的。用来进行爬取实验的话,需要多次尝试,因为你
不知道那个IP有用和IP能够持续使用的时间。可以花一点钱,购买比较稳定的代理IP。
还有一件事,IP代理池和用户代理池结合使用,效果更好。
|
|