[已解决]爬虫访问网站被禁止

Astatine-231

使用代理并修改header后访问whatismyip网站，为什么依旧被禁止？

#代码清单
con = ssl._create_unverified_context()    #ssl证书认证
url = "https://www.whatismyip.com"

proxy_support = urllib.request.ProxyHandler({'http':'121.193.143.249:80'}) #使用代理
opener = urllib.request.build_opener(proxy_support)

opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 6.1; \
WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36')]  #修改user-agent

urllib.request.install_opener(opener)   
response = urllib.request.urlopen(url,context = con)     #打开、读取网页
html = response.read().decode('utf-8')
print(html)

#运行结果
urllib.error.HTTPError: HTTP Error 403: Forbidden

为什么依旧不能访问？换了好几个ip都不行

求助大神！

最佳答案

月排行榜 / 总排行榜

Charles未晞

2018-8-8 11:47:59

Astatine-231 发表于 2018-8-7 21:41
不加代理可以访问

那就是代理质量太差了，免费的代理都这样的，不稳定，质量差。
知道怎么用就行了，真的大规模爬数据肯定买的代理。

跳转到最佳答案楼层

无符号整形

调试访问太频繁 或者代理ip已经被发现

Charles未晞

你不加代理试试能不能访问，可以的话就是代理质量太差了。

Astatine-231

Charles未晞 发表于 2018-8-7 16:15
你不加代理试试能不能访问，可以的话就是代理质量太差了。

不加代理可以访问

Astatine-231

无符号整形 发表于 2018-8-7 14:47
调试访问太频繁 或者代理ip已经被发现

过一段时间再试依旧不行
有什么推荐的代理网站吗？
或者有没有其他的方法查看是否在使用代理ip？

Charles未晞

Astatine-231 发表于 2018-8-7 21:41
不加代理可以访问

那就是代理质量太差了，免费的代理都这样的，不稳定，质量差。
知道怎么用就行了，真的大规模爬数据肯定买的代理。