[已解决]爬虫爬取用的代理ip大部分不可用，大家如何解决的？

jf050108

学习写了翻译软件，中间使用代理ip，如下代码获取代理ip，结果获取的大部分验证都不能用，大家都怎么使用代理ip的？

1. def get_proxy_ip(index = 'index'):
   
2.         """
   
3.         随机获取ip地址列表
   
4.         :param index: 页码索引
   
5.         :return:
   
6.         """
   
7.         # url = 'http://www.whatismyip.com.tw'  # 查看真实ip网址
   
8.         url = 'http://www.66ip.cn/' + str(index) + '.html'
   
9.         req = Request(url)
   
10.         req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:54.0) Gecko/20100101  Firefox/54.0')
    
11.         response = urlopen(req).read()
    
12.         # print response
    
13.         # print chardet.detect(response)#获取编码格式
    
14. 
    
15.         # 创建匹配ip和端口的规则，网站格式：<tr><td>180.110.6.137</td><td>808</td>
    
16.         p = re.compile(r'((?:(?:[01]?\d?\d|2[0-4]\d|25[0-5])\.){3}(?:[01]?\d?\d|2[0-4]\d|25[0-5]))</td><td>(\d+)')
    
17.         ip_list = p.findall(response)
    
18.         # print ip_list
    
19. 
    
20.         while True:
    
21.                 ip_port = random.choice(ip_list)  # 随机选取列表中的一个IP地址和端口
    
22.                 # print ip_port
    
23. 
    
24.                 # 检查ip是否可用，如不可用，删除该ip并更换一个
    
25.                 if not check_proxy_ip(ip_port):
    
26.                         ip_list.remove(ip_port)  # 删除这个IP地址
    
27.                 else:
    
28.                         break
    
29. 
    
30.         return ip_port
    
31. 
    
32. def check_proxy_ip(ip_port):
    
33.         """
    
34.         检查代理ip是否可用
    
35.         :return:
    
36.         """
    
37.         try:
    
38.                 telnetlib.Telnet(ip_port[0], port = ip_port[1], timeout = 20)
    
39.         except:
    
40.                 print 'The IP is not available！'
    
41.                 return False
    
42.         else:
    
43.                 print 'The IP is available！'
    
44.                 print ('ip port', ip_port)
    
45.                 return True
    
46. 
    

复制代码

最佳答案

月排行榜 / 总排行榜

当时就吓傻了

2017-7-14 20:53:29

http://cn-proxy.com/ 这个网站上的代理用过几个 倒是都能用，不知道你那个网站代理IP的咋样

跳转到最佳答案楼层

gopythoner

你还把超时时间设置那么长，等的不急么？

反正我是不用代理了，免费代理都是垃圾

只能把爬虫速度调慢一点了

当时就吓傻了

http://cn-proxy.com/ 这个网站上的代理用过几个 倒是都能用，不知道你那个网站代理IP的咋样

新手·ing

可以买，好的IP也只能买

jf050108

gopythoner 发表于 2017-7-14 15:06
你还把超时时间设置那么长，等的不急么？

反正我是不用代理了，免费代理都是垃圾

哦，简单测试一下而已，已经改了，是很麻烦，抓出来的10个有9个都不能用 ~

jf050108

当时就吓傻了 发表于 2017-7-14 20:53
http://cn-proxy.com/ 这个网站上的代理用过几个 倒是都能用，不知道你那个网站代理IP的咋样

好的，多谢，我试试看