快速获取ip代理并检测获取代理的有效性

fineconey

1. # -*- coding = utf-8 -*-
   
2. # @清凉
   
3. # @快速获取ip代理并检测获取代理的有效性.py
   
4. 
   
5. import requests
   
6. import pprint
   
7. import parsel
   
8. import time
   
9. 
   
10. 
    
11. headers = {
    
12.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36 Edg/81.0.416.68',
    
13.     'Cookie': 'channelid=0; sid=1588905849664960; Hm_lvt_7ed65b1cc4b810e9fd37959c9bb51b31=1588905972; _ga=GA1.2.620440764.1588905972; _gid=GA1.2.1803663967.1588905972; MEIQIA_TRACK_ID=1bbg0JvBZbe016Kxzb1t3ZCj7tC; MEIQIA_VISIT_ID=1bbg0Lh0pypxP2MrSeKFT8zQg8V; _gat=1; Hm_lpvt_7ed65b1cc4b810e9fd37959c9bb51b31=1588906165'}
    
14. 
    
15. 
    
16. iplist = []
    
17. # num=int(input("请输入你想要获取的代理ip数量,建议范围15以上,1000以内"//int(15)))
    
18. num = int(input("请输入你想要获取的代理ip数量,建议范围15以上,1000以内:"))
    
19. num = num // 15 + 2
    
20. timewait = int(input("请输入你想要的速度,1最快,10最慢"))
    
21. for i in range(1, num):
    
22.     url = 'https://www.kuaidaili.com/free/inha/{}/'.format(str(i))
    
23.     response = requests.get(url, headers=headers, timeout=5)
    
24.     data = response.content.decode("utf-8")  # 这个地方出过错
    
25.     html = parsel.Selector(data)
    
26.     temp = html.xpath(
    
27.         "//table[@class='table table-bordered table-striped']/tbody/tr")
    
28. 
    
29.     for item in temp:
    
30.         ipdata = {}
    
31.         ip_class = item.xpath('./td[4]/text()').extract_first()
    
32.         ip_num = item.xpath('./td[1]/text()').extract_first()
    
33.         ip_port = item.xpath('./td[2]/text()').extract_first()
    
34.         ip_add = item.xpath('./td[5]/text()').extract_first()
    
35.         ipdata[ip_class] = ip_num + ':' + ip_port
    
36.         iplist.append(ipdata)
    
37. 
    
38.     time.sleep(timewait)
    
39.     print("第{}页已经获取完毕".format(i))
    
40. 
    
41.     # print(ip_class,ip_num,ip_port,ip_add)
    
42. print(len(iplist))
    
43. print("*" * 100)
    
44. # print(html)
    
45. 
    
46. 
    
47. def checkbaidu(iplist):
    
48.     '''快速检测代理有效性'''
    
49. 
    
50.     global can_use
    
51.     can_use = []
    
52.     for ip in iplist:
    
53.         try:
    
54.             temp = requests.get(
    
55.                 'https://www.baidu.com',
    
56.                 headers=headers,
    
57.                 timeout=2,
    
58.                 proxies=ip)
    
59.             if temp.status_code == 200:
    
60.                 can_use.append(ip)
    
61.         except BaseException:
    
62.             print(ip, "不能使用或超时了")
    
63.     print("一共有{}个可以有效使用".format(len(can_use)))
    
64. 
    
65. 
    
66. print("##" * 20)
    
67. checkbaidu(iplist)
    
68. print("##" * 20)
    
69. print("他们分别是:")
    
70. print(can_use)
    

复制代码

效果如下,希望指点