|
马上注册,结交更多好友,享用更多功能^_^
您需要 登录 才可以下载或查看,没有账号?立即注册
x
按照视频编写的爬虫,隐藏IP,whatismyip那个访问不了,换成了'https://www.123cha.com/ip/',但是返回的还是真实IP,是访问网址的问题吗?
- import urllib.request
- import random
- #访问地址
- url = 'https://www.123cha.com/ip/'
- #【代理】(设置代理ip、创建opener、安装opener)
- #代理ip
- ip_list = ['119.6.144.73:81','183.203.208.166:8118','111.1.32.28:81']
- #设置代理ip
- ip_ran = random.choice(ip_list)
- proxy_support = urllib.request.ProxyHandler({'http':ip_ran})
- print(ip_ran)
- #创建opener
- opener = urllib.request.build_opener(proxy_support)
- #添加header
- opener.addheaders = [('user-agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36')]
- #安装opener
- urllib.request.install_opener(opener)
- #打开url
- response = urllib.request.urlopen(url)
- #读取、解码
- html = response.read().decode('utf-8')
- print(html)
复制代码 |
|