代理ip怎么辨别能不能用

937135952

1. import urllib.request
   
2. 
   
3. #这一段三句话是为了请求时带上浏览器标识，因为有的网站看到是爬虫的标识直接返回403
   
4. #请求的网站不涉及到提交数据，所以没有给出data参数
   
5. url = 'https://baidu.com/'
   
6. header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',
   
7.         'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
   
8.         'Accept-Language':'en-US,en;q=0.5',
   
9.         'Accept-Encoding':'gzip',
   
10.         'DNT':'1',
    
11.         'Connection':'close'}
    
12. req = urllib.request.Request(url,headers=header)
    
13. 
    
14. #使用代理和还原不使用代理的方法
    
15. #if语句相当于一个开关，不要写成True
    
16. use_proxy = urllib.request.ProxyHandler({'https':'59.38.222.104'})
    
17. 
    
18. opener = urllib.request.build_opener(use_proxy)#默认使用本地ip
    
19. urllib.request.install_opener(opener)
    
20. 
    
21. #获取返回结果
    
22. #同时可以使用html = opener.open(req).read()获取结果
    
23. html = urllib.request.urlopen(req).read()
    
24. print(html)

复制代码

为什么我找了好多代理ip试了，都不行，我都开始怀疑是我程序有问题了。
大佬们看看程序有没有问题？然后再推荐推荐几个代理ip网址呗

1q23w31

1. proxies = {
   
2.   "http": "49.70.122.136:4216"
   
3. }
   

复制代码

这个代理可用，实测
https://proxy.seofangfa.com/
从这个网站找的

Twilight6

你的 IP 忘记加上端口了，IP 可以去下面找找看

高匿免费 IP --> https://ip.jiangxianli.com/?page=1&country=%E4%B8%AD%E5%9B%BD

admintest166

免费的代理IP 能用的没几个 收费的一天都要8块  当初我做IP代理池 爬了1W多个 能用的也就几十个

你可以爬取那些免费的代理IP 比如西刺代理 写个爬虫爬IP 然后保存到redis数据库里 然后在一个代理IP一个代理IP的试 这个看你会不会设计代理池了

weiter

admintest166 发表于 2020-8-15 21:23
免费的代理IP 能用的没几个 收费的一天都要8块  当初我做IP代理池 爬了1W多个 能用的也就几十个  ...

这么现实的吗……看来我的代理梦想破灭了……