[已解决]爬虫遇到加载中怎么办

洋洋痒

按照小甲鱼教的代理ip那节课，。老师的网址连接不上，我换了其他网址，可是最后的结果应该显示ip地址的地方却变成了加载中，迷之尴尬……求助

1. import urllib.request
   
2. 
   
3. url='https://www.ip.cn/'
   
4. 
   
5. proxy_support=urllib.request.ProxyHandler({'http':'221.122.91.60:80'})
   
6. opener=urllib.request.build_opener(proxy_support)
   
7. opener.addheaders={('user-agent',' Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36')}
   
8. urllib.request.install_opener(opener)
   
9. response=urllib.request.urlopen(url)
   
10. html=response.read().decode('utf-8')
    
11. print(html)
    

复制代码

最佳答案

月排行榜 / 总排行榜

YunGuo

2021-1-20 15:57:59

洋洋痒 发表于 2021-1-20 02:46
和有没有效没关，我不用代理后还是一样加载中

哦，没仔细看，这个ip数据是js加载的，需要请求数据接口获取到ip数据。接口：https://www.ip.cn/api/index?ip=&type=0

跳转到最佳答案楼层

wp231957

免费的代理基本可以放弃研究，能用的太少，而且有时效性

YunGuo

你这个免费代理ip无效，所以加载不出来。

洋洋痒

YunGuo 发表于 2021-1-19 15:46
你这个免费代理ip无效，所以加载不出来。

1. import urllib.request
   
2. 
   
3. url='https://www.ip.cn/'
   
4. 
   
5. 
   
6. header={'user-agent':' Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'}
   
7. req=urllib.request.Request(url,headers=header)
   
8. response=urllib.request.urlopen(req)
   
9. html=response.read().decode('utf-8')
   
10. print(html)
    

复制代码

和有没有效没关，我不用代理后还是一样加载中

YunGuo

洋洋痒 发表于 2021-1-20 02:46
和有没有效没关，我不用代理后还是一样加载中

哦，没仔细看，这个ip数据是js加载的，需要请求数据接口获取到ip数据。接口：https://www.ip.cn/api/index?ip=&type=0

洋洋痒

YunGuo 发表于 2021-1-20 15:57
哦，没仔细看，这个ip数据是js加载的，需要请求数据接口获取到ip数据。接口：https://www.ip.cn/api/inde ...

谢谢