爬虫遇到加载中怎么办
按照小甲鱼教的代理ip那节课,。老师的网址连接不上,我换了其他网址,可是最后的结果应该显示ip地址的地方却变成了加载中,迷之尴尬……求助import urllib.request
url='https://www.ip.cn/'
proxy_support=urllib.request.ProxyHandler({'http':'221.122.91.60:80'})
opener=urllib.request.build_opener(proxy_support)
opener.addheaders={('user-agent',' Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36')}
urllib.request.install_opener(opener)
response=urllib.request.urlopen(url)
html=response.read().decode('utf-8')
print(html)
免费的代理基本可以放弃研究,能用的太少,而且有时效性 你这个免费代理ip无效,所以加载不出来。 YunGuo 发表于 2021-1-19 15:46
你这个免费代理ip无效,所以加载不出来。
import urllib.request
url='https://www.ip.cn/'
header={'user-agent':' Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'}
req=urllib.request.Request(url,headers=header)
response=urllib.request.urlopen(req)
html=response.read().decode('utf-8')
print(html)
和有没有效没关,我不用代理后还是一样加载中 洋洋痒 发表于 2021-1-20 02:46
和有没有效没关,我不用代理后还是一样加载中
哦,没仔细看,这个ip数据是js加载的,需要请求数据接口获取到ip数据。接口:https://www.ip.cn/api/index?ip=&type=0 YunGuo 发表于 2021-1-20 15:57
哦,没仔细看,这个ip数据是js加载的,需要请求数据接口获取到ip数据。接口:https://www.ip.cn/api/inde ...
谢谢
页:
[1]