免费代理池的实现

沉迷include

github地址: https://github.com/7134g/myproxypool


核心：以多线程方式去获取免费的ip站点，存储在内存中



程序分为三部分
1.  测试代理线程
2.  获取代理线程
3.  提供api服务的线程

其中每一个请求将生成一个子线程去处理（获取代理和测试代理）



流程：启动调度器 -> 开启测试，爬取，服务三条主线程
                爬取线程 -> 遍历爬取函数（每一个爬取函数对应一个免费代理平台） -> 清洗提取 -> 添加到队列A中
                测试线程 -> 从队列A中获取ip -> 对设定的站点携带ip访问 -> 无效删除
                服务线程 -> 提供api接口获取队列A中的代理



下列为调度器的启动函数

1. 
   
2. class Scheduler: # 该程序的调度器
   
3.     def run(self):
   
4.         factory = Factory() # 用与构建管理所有线程
   
5.         # factory.set_active_count([Getter, Tester])
   
6.         try:
   
7.             if TESTER_ENABLED:
   
8.                 factory.add(schedule_tester)
   
9.             if GETTER_ENABLED:
   
10.                 factory.add(schedule_getter)
    
11.             if API_ENABLED:
    
12.                 factory.add(schedule_api)
    
13.             factory.start() # 启动所有线程，也就是上面所添加的三个线程
    
14.         finally:
    
15.             factory.stop()
    
16.             factory.shutdown()
    

复制代码

Factory类提供了暂停，停止，等待任务执行完毕的接口，便于控制一批批的测试代理ip。self._create_worker()用于创建工人

1. 
   
2. class Factory:
   
3.         ...
   
4.     def start(self):
   
5.         Log.debug("线程池启动，招聘打工人")
   
6.         self._create_worker()
   
7.         Log.debug("打工人准备就绪")
   
8.         self._working()
   
9.         while self.factory_status:
   
10.             time.sleep(CHECK_FACTORY_STATUS)
    

复制代码

为了减少创建线程，就有了Worker类，其作用就是一个对象意味着一个线程
可由 Factory类 动态控制线程此时的工作
将执行过程中生成的所有Task类任务存放在cls._instance.tasks中，由空闲工人去拉来执行

1. 
   
2. class Worker(threading.Thread):
   
3.         ...
   
4.     def run(self):
   
5.         self.wf = "doing"
   
6.         while self.factory.factory_status and self.status:
   
7.             if not self.__running.is_set():
   
8.                 Log.info("咋瓦鲁多")
   
9.             # 获取任务
   
10.             t = self.factory.get_task()
    
11.             if not t:
    
12.                 self._sleep(self.wid)
    
13.                 continue
    
14.             try:
    
15.                 self.sleep_count = 0
    
16.                 t.run()
    
17.                 # print(f"打工人{self.wid}号 ，剩余工作 {self.factory._active_working}")
    
18.             except Exception as e:
    
19.                 Log.error(f"打工人工作异常: {e}")
    
20.             finally:
    
21.                 self.factory.minus_active(t.name)
    
22.             self.__running.wait()  # 为True时立即返回, 为False时阻塞直到内部的标识位为True后返回
    
23.         Log.debug(f"打工人{self.wid}你被炒鱿鱼了")
    
24.         self.wf = "fired"
    
25. 
    
26. class Task:
    
27.         ...
    
28.     def run(self):
    
29.         if self.args:
    
30.             if self.kw:
    
31.                 self.fun(*self.args, **self.kw)
    
32.             else:
    
33.                 self.fun(*self.args)
    
34.         else:
    
35.             self.fun()
    
36.         # 需要工作的内容
    

复制代码