爬虫代理池完全教程

python黑帽

想设计自己的爬虫代理池么？
想设计一个和GitHub上2000+星星的项目一样的代理池么？

如果你想，那就跟紧我的 教程吧！
带你从零到一，一步步完成你的专属代理池！



成果展示：https://github.com/Dengqlbq/ProxyPool

注：因为更习惯用MarkDown写文章，所以教程发表在CSDN

教程地址：http://blog.csdn.net/sinat_34200786/article/details/79451499

fangfangfengfei

亲，你的代码测试了一下，发现有点问题，希望能解答一下：

1. def refresh(self):
   
2.         """
   
3.         获取新代理放入raw中
   
4.         :return:
   
5.         """
   
6.         self.log.info('Fetch start')
   
7.         proxies = set()
   
8.         print('3333')
   
9.         for func in self.config.get_proxy_function:
   
10.             print('111')
    
11.             fc = getattr(ProxyGetter, func)
    
12.             for proxy in fc():
    
13.                 self.log.info('Fetch proxy {0}'.format(proxy))
    
14.                 proxies.add(proxy)
    
15. 
    
16.         for proxy in proxies:
    
17.             print('222')
    
18.             if proxy_format_valid(proxy):
    
19.                 self.db_client.change_table(self.useful_proxy)
    
20.                 if self.db_client.exists(proxy):
    
21.                     continue
    
22.                 self.db_client.change_table(self.raw_proxy)
    
23.                 self.db_client.put(proxy)
    
24.         self.log.info('Fetch end')

复制代码

经测试，每次启动refresh的时候，程序不能执行到两个for里面去：所以在运行时，系统输出只能看见测试用的‘33333’，看不到‘1111’和‘2222’不知道哪里出的问题，望解答！