代理IP爬虫

风尘岁月

最近爬的太猖獗了 封IP封了N次

所以就写了这个爬虫 希望能帮到大家
废话少说 上代码

1. import requests
   
2. import parsel
   
3. import time
   
4. 
   
5. demo_url = str(input('请输入要测试的网站>>>'))
   
6. start_demo_page = int(input('请输入要测试的起始页数>>>'))
   
7. end_demo_page = int(input('请输入要测试的末尾页数>>>'))
   
8. 
   
9. 
   
10. 
    
11. #base_url = 'https://www.kuaidaili.com/free/inha/1/'
    
12. 
    
13. headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'}
    
14. 
    
15. def check_ip(proxies_dict):
    
16.     headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'}
    
17. 
    
18. 
    
19.     can_use = []
    
20.     for ip in proxies_dict:
    
21.         try:
    
22.             response = requests.get(url=demo_url,headers=headers,IP_list=ip,timeout = 0.1)
    
23.             if response.status_code == 200:
    
24.                 can_use.append(ip)
    
25. 
    
26.         except Exception:
    
27.             print('当前代理ip:',ip,'请求超时，质量不合格')
    
28.         finally:
    
29.             print('当前代理ip:',ip,'检测通过')
    
30.             can_use.append(ip)
    
31. 
    
32.     return can_use
    
33. 
    
34. 
    
35. 
    
36. 
    
37. proxies_list = []
    
38. 
    
39. for page in range(start_demo_page,end_demo_page+1):
    
40. 
    
41.     base_url = 'https://www.kuaidaili.com/free/inha/{}/'.format(page)
    
42.     print('############正在下载第{}页数据############'.format(page))
    
43.     if page>1:
    
44.         print('休息一下')
    
45.         time.sleep(1)
    
46. 
    
47.     html_data = requests.get(url=base_url,headers=headers).text
    
48.     selector = parsel.Selector(html_data)
    
49. 
    
50. 
    
51.     result_list = selector.xpath('//tbody/tr')
    
52. 
    
53.     for sel in result_list:
    
54.         IP = sel.xpath('./td[@data-title="IP"]/text()').extract_first()
    
55.         Type = sel.xpath('./td[@data-title="类型"]/text()').extract_first()
    
56.         PORT = sel.xpath('./td[@data-title="PORT"]/text()').extract_first()
    
57. 
    
58. 
    
59.         proxies_dict = {}
    
60.         proxies_dict[Type] = IP + ":" + PORT
    
61.         print('保存成功:',proxies_dict)
    
62.         proxies_list.append(proxies_dict)
    
63. 
    
64. print(proxies_list)
    
65. print('获取到的IP数量:',len(proxies_list))
    
66. 
    
67. print('############正在检测ip质量############')
    
68. can_use = check_ip(proxies_list)
    
69. print('质量高:',can_use)
    
70. print('数量:',len(can_use))
    
71. 
    
72. for ip in can_use:
    
73. 
    
74.     with open('data.csv',mode='a+',encoding='utf-8') as f:
    
75.         ip_data = str(ip)
    
76.         f.write(ip_data + '\n\n')
    
77. 
    
78. 
    
79. print('测试完成,具体数据已写入至data.csv')

复制代码

最后 希望各位继续学习 学业有成

bai123tt

开始报错，我才知道模块没安装，安装模块后，程序可以跑起来

hhhhhhy

为什么一个质量高的ip都没有呢orz

风尘岁月

hhhhhhy 发表于 2020-8-17 19:58
为什么一个质量高的ip都没有呢orz

看你测试的是哪个网站了

hhhhhhy

风尘岁月 发表于 2020-8-18 11:15
看你测试的是哪个网站了

试了好几个网站都不行……求大佬指个合适的网站orz

风尘岁月

hhhhhhy 发表于 2020-8-20 21:00
试了好几个网站都不行……求大佬指个合适的网站orz

https://www.baidu.com

hhhhhhy

风尘岁月 发表于 2020-8-20 21:01
https://www.baidu.com

喵喵喵 好的感谢！

sbx

感谢分享！！

mrfaa33

666