[已解决]爬虫中关于代理ip的问题。。。

兰竹皋

各位好，能帮忙试试这段代码吗？
内容：爬取 www.goubanjia.com 上的免费代理ip，并作 尝试 连接来观察其的有效性。
但 我连续爬取了数千条，一个可以用的都没发现。
是我电脑问题，还是，这网站上就没有可用的ip？

1. from multiprocessing.pool import ThreadPool
   
2. import requests
   
3. from lxml import etree
   
4. import time
   
5. 
   
6. 
   
7. 
   
8. def open_url(url):
   
9.     headers = {
   
10.             'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',
    
11.     }
    
12.     re = requests.get(url=url, headers=headers)
    
13.     re.raise_for_status()
    
14.     re.encoding = 'utf-8'
    
15.     return re.text
    
16.    
    
17. def open_url_http(proxy):
    
18.     headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',}
    
19.     try:
    
20.         res = requests.get(url=url_http, headers=headers, proxy=proxy)
    
21.         assert res.status_code == 200
    
22.         print('http://'+proxy, end='\t')
    
23.         con = res.json()['origin']
    
24.         if con == proxy:
    
25.             print('http://'+proxy+' 可以使用')
    
26.         else:
    
27.             print('error')
    
28.     except Exception as e:
    
29.             pass
    
30. 
    
31. def open_url_https(proxy):
    
32.     headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',}
    
33.     try:
    
34.         res = requests.get(url=url_https, headers=headers, proxy=proxy)
    
35.         assert res.status_code == 200
    
36.         print('https://'+proxy, end='\t')
    
37.         tree = etree.HTML(res.text)
    
38.         con = tree.xpath('//body/p//text()')
    
39.         if con[1] == proxy:
    
40.             print('https://'+proxy+' 可以使用')
    
41.         else:
    
42.             print('error')
    
43.     except Exception as e:
    
44.             pass
    
45. 
    
46. def get_proxies():
    
47.     proxies_https = []
    
48.     proxies_http = []
    
49.     url = 'http://www.goubanjia.com/'
    
50.     re_text = open_url(url=url)
    
51. 
    
52.     tree = etree.HTML(re_text)
    
53.     info_list = tree.xpath('//tbody/tr')
    
54.     for each in info_list:
    
55.         info_dict = {}
    
56. 
    
57.         each_address_list = []
    
58.         info_dict['address'] = each.xpath('./td[1]//*')
    
59.         for each_address in info_dict['address']:
    
60.             if each_address.xpath('./@style') == ["display: none;"] or each_address.xpath('./@style') ==["display:none;"]:
    
61.                 pass
    
62.             else:
    
63.                 if len(each_address.xpath('./text()')) != 0:
    
64.                     each_address_list.append(each_address.xpath('./text()')[0])      
    
65.         info_dict['address'] = ''.join(each_address_list[:-1])+':'+each_address_list[-1]
    
66. 
    
67.         info_dict['anonymity'] = each.xpath('./td[2]//text()')[0]
    
68.         info_dict['protocal'] = each.xpath('./td[3]//text()')[0]
    
69.         if info_dict['protocal'] == 'http':
    
70.             if info_dict['address'] not in proxies_http:
    
71.                 proxies_http.append(str(info_dict['address']))
    
72.         elif info_dict['protocal'] == 'https':
    
73.             if info_dict['address'] not in proxies_https:
    
74.                 proxies_https.append(str(info_dict['address']))
    
75. 
    
76.     # print(proxies_http)
    
77.     # print(proxies_https)
    
78.     return proxies_http, proxies_https
    
79.    
    
80. 
    
81. 
    
82. if __name__ == '__main__':
    
83.    
    
84.     url_https = 'https://202020.ip138.com/'
    
85.     url_http = 'http://httpbin.org/ip'
    
86.    
    
87.    
    
88.     def main():
    
89.         proxies_http, proxies_https = get_proxies()
    
90.         pool = ThreadPool(5)
    
91.         print('main start')
    
92.         for each_proxy in proxies_http:
    
93.             proxy = {"http":f"{each_proxy}"}
    
94.             pool.apply_async(open_url_http, (proxy,))
    
95.         for each_proxy in proxies_https:
    
96.             proxy = {"https":f"{each_proxy}"}
    
97.             pool.apply_async(open_url_https, (proxy,))
    
98.         pool.close()
    
99.         pool.join()
    
100.         print('main over')
     
101. 
     
102.     for i in range(100):
     
103.         main()
     
104.         time.sleep(0.1)
     
105.    
     

复制代码

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-11-15 18:52:45

这个网站已经标注不保证可用了，你还是找客服要免费试用的吧。

跳转到最佳答案楼层

suchocolate

这个网站已经标注不保证可用了，你还是找客服要免费试用的吧。

兰竹皋

suchocolate 发表于 2020-11-15 18:52
这个网站已经标注不保证可用了，你还是找客服要免费试用的吧。

好的，谢谢