[已解决]关于爬虫代理IP网站

昨非

  刚刚接触爬虫，在看完甲鱼老师代理IP那集后有意搜索了几个网站，
发现甲鱼老师提供的那个网站打不开，而其他多数都要注册呀什么的搞得挺麻烦，所以有些犹豫，
故在此咨询下诸位前辈平时都是用的哪个代理IP网站

最佳答案

月排行榜 / 总排行榜

1q23w31

2020-8-23 15:33:40

百度随便找一个，不过可用性看运气
https://proxy.mimvp.com/freeopen

跳转到最佳答案楼层

1q23w31

百度随便找一个，不过可用性看运气
https://proxy.mimvp.com/freeopen

昨非

1q23w31 发表于 2020-8-23 15:33
百度随便找一个，不过可用性看运气
https://proxy.mimvp.com/freeopen

之前搜了一大堆，广告居多，就犹豫了下，我先看看您这个

昨非

1q23w31 发表于 2020-8-23 15:33
百度随便找一个，不过可用性看运气
https://proxy.mimvp.com/freeopen

实测，甲鱼老师课上源码，没有一个成功

1q23w31

昨非 发表于 2020-8-23 22:16
实测，甲鱼老师课上源码，没有一个成功

我测试了两个都能用啊

1. proxy={'http':'http://101.37.118.54:8888'
   
2.     }

复制代码

1. proxy={'http':'http://120.79.209.11:3128'
   
2.     }

复制代码

建议多尝试几个

昨非

1q23w31 发表于 2020-8-24 07:24
我测试了两个都能用啊

too many connections
或者
gateway time-out

我还是用的甲鱼老师原码

1. import urllib.request as rq
   
2. import random
   
3. 
   
4. url ='http://www.whatismyip.com.tw'
   
5. 
   
6. iplist=['115.223.7.110:80','115.29.108.117:8118']
   
7. 
   
8. proxy_support=rq.ProxyHandler({'http':random.choice(iplist)})
   
9. 
   
10. opener= rq.build_opener(proxy_support)
    
11. 
    
12. 
    
13. opener.add_handler=[('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 ')]
    
14. 
    
15. rq.install_opener(opener)
    
16. 
    
17. response=rq.urlopen(url)
    
18. 
    
19. html=response.read().decode('utf-8')
    
20. 
    
21. print(html)

复制代码

难道是这么多年python语法或者url啥的有变动？

1q23w31

昨非 发表于 2020-8-24 09:46
too many connections
或者
gateway time-out

http://www.whatismyip.com.tw
这个网址需要魔法方法（qiangwai）,普通代理解决不了

昨非

1q23w31 发表于 2020-8-24 10:07
http://www.whatismyip.com.tw
这个网址需要魔法方法（qiangwai）,普通代理解决不了

嗯，谢谢老师提供的网站和相关解惑

冰西瓜

没用吧