[已解决]IP代理问题

snail:)

IP代理中，IP地址和端口号都需要的么，为什么我试了好几次都不成功

最佳答案

月排行榜 / 总排行榜

°蓝鲤歌蓝

2018-2-15 22:40:15

snail:) 发表于 2018-2-15 22:36
你这个requests是什么模块，就是3.X的urlllib.request模块么

不是，你继续学习爬虫就知道了，后面爬虫基本就使用这个模块了，比urllib2方便得多。

跳转到最佳答案楼层

°蓝鲤歌蓝

发图，代码。

snail:)

°蓝鲤歌蓝 发表于 2018-2-15 17:00
发图，代码。

import urllib.request
import random

url = 'http://www.whatismyip.com.tw'

iplist = ['115.152.86.46:9000', '114.234.83.208:9000', '183.145.41.102:80']

proxy_support = urllib.request.ProxyHandler({'http':random.choice(iplist)})

opener = urllib.request.build_opener(proxy_support)
opener.addheaders = [('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36')]

urllib.request.install_opener(opener)

response = urllib.request.urlopen(url)
html = response.read().decode('utf-8')

print(html)

snail:)

snail:) 发表于 2018-2-15 17:11
import urllib.request
import random

TimeoutError: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。

新手·ing

snail:) 发表于 2018-2-15 17:13
TimeoutError: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失 ...

这是ip的问题，和代码无关，你的ip免费的吧，不能用。

°蓝鲤歌蓝

snail:) 发表于 2018-2-15 17:13
TimeoutError: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失 ...

代码没错，网络或者防火墙的原因。

snail:)

°蓝鲤歌蓝 发表于 2018-2-15 17:21
代码没错，网络或者防火墙的原因。

我用我自己的IP都访问不了这是为什么

°蓝鲤歌蓝

snail:) 发表于 2018-2-15 17:26
我用我自己的IP都访问不了这是为什么

这样子就可以爬取。

°蓝鲤歌蓝

这个网站貌似不能用了。

snail:)

°蓝鲤歌蓝 发表于 2018-2-15 17:43
这个网站貌似不能用了。

爬一次可以，马上爬第二次就把你拉黑了，要等一会儿才能继续爬= =！

snail:)

°蓝鲤歌蓝 发表于 2018-2-15 17:33
这样子就可以爬取。

你这个requests是什么模块，就是3.X的urlllib.request模块么

°蓝鲤歌蓝

snail:) 发表于 2018-2-15 22:36
你这个requests是什么模块，就是3.X的urlllib.request模块么

不是，你继续学习爬虫就知道了，后面爬虫基本就使用这个模块了，比urllib2方便得多。