洋洋痒 发表于 2021-1-19 00:51:48

爬虫遇到加载中怎么办

按照小甲鱼教的代理ip那节课,。老师的网址连接不上,我换了其他网址,可是最后的结果应该显示ip地址的地方却变成了加载中,迷之尴尬……求助

import urllib.request

url='https://www.ip.cn/'

proxy_support=urllib.request.ProxyHandler({'http':'221.122.91.60:80'})
opener=urllib.request.build_opener(proxy_support)
opener.addheaders={('user-agent',' Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36')}
urllib.request.install_opener(opener)
response=urllib.request.urlopen(url)
html=response.read().decode('utf-8')
print(html)

wp231957 发表于 2021-1-19 07:43:04

免费的代理基本可以放弃研究,能用的太少,而且有时效性

YunGuo 发表于 2021-1-19 15:46:05

你这个免费代理ip无效,所以加载不出来。

洋洋痒 发表于 2021-1-20 02:46:58

YunGuo 发表于 2021-1-19 15:46
你这个免费代理ip无效,所以加载不出来。

import urllib.request

url='https://www.ip.cn/'


header={'user-agent':' Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'}
req=urllib.request.Request(url,headers=header)
response=urllib.request.urlopen(req)
html=response.read().decode('utf-8')
print(html)

和有没有效没关,我不用代理后还是一样加载中

YunGuo 发表于 2021-1-20 15:57:59

洋洋痒 发表于 2021-1-20 02:46
和有没有效没关,我不用代理后还是一样加载中

哦,没仔细看,这个ip数据是js加载的,需要请求数据接口获取到ip数据。接口:https://www.ip.cn/api/index?ip=&type=0

洋洋痒 发表于 2021-1-20 21:52:33

YunGuo 发表于 2021-1-20 15:57
哦,没仔细看,这个ip数据是js加载的,需要请求数据接口获取到ip数据。接口:https://www.ip.cn/api/inde ...

谢谢
页: [1]
查看完整版本: 爬虫遇到加载中怎么办