爬虫程序实现过程中的一些建议

jackcoden

在爬虫程序本地测试运行通过之后，一些同学就迫不及待的将程序部署到服务器上进行正式运行，然后跑一段时间之后就出现了各种错误甚至程序退出，这里将一些常见的问题整理下供参考：
1、本地调试通过只是说明程序从请求到数据分析的流程已经完整了，但是并不代表程序能长期稳定的采集数据，针对采集的网站需要进行自动化测试，一般建议按照一定次数或时间进行稳定性测试，看看网站的响应情况和反爬情况
2、程序需要加上数据处理的异常保护，如果是数据要求不高，可以单线程运行，如果数据要求较高，建议加上多线程运行，提高程序的处理性能
3、根据采集的数据要求和网站情况，配置适当的爬虫代理，这样可以降低网站反爬的风险，爬虫代理的选择对比中，要重点关注网络延迟、IP池大小和请求成功率，这样可以快速选择适合的爬虫代理产品
下面提供一个demo程序，用来统计请求和IP分布，也可以根据需求修改成数据采集程序：

1.     #! -*- encoding:utf-8 -*-
   
2.     import requests
   
3.     import random
   
4.     import requests.adapters
   
5. 
   
6.     # 要访问的目标页面
   
7.     targetUrlList = [
   
8.         "https://httpbin.org/ip",
   
9.         "https://httpbin.org/headers",
   
10.         "https://httpbin.org/user-agent",
    
11.     ]
    
12. 
    
13.     # 代理服务器(产品官网 www.16yun.cn)
    
14.     proxyHost = "t.16yun.cn"
    
15.     proxyPort = "31111"
    
16. 
    
17.     # 代理验证信息
    
18.     proxyUser = "username"
    
19.     proxyPass = "password"
    
20. 
    
21.     proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
    
22.         "host": proxyHost,
    
23.         "port": proxyPort,
    
24.         "user": proxyUser,
    
25.         "pass": proxyPass,
    
26.     }
    
27. 
    
28.     # 设置 http和https访问都是用HTTP代理
    
29.     proxies = {
    
30.         "http": proxyMeta,
    
31.         "https": proxyMeta,
    
32.     }
    
33. 
    
34.     #  设置IP切换头
    
35.     tunnel = random.randint(1, 10000)
    
36.     headers = {"Proxy-Tunnel": str(tunnel)}
    
37. 
    
38. 
    
39.     class HTTPAdapter(requests.adapters.HTTPAdapter):
    
40.         def proxy_headers(self, proxy):
    
41.             headers = super(HTTPAdapter, self).proxy_headers(proxy)
    
42.             if hasattr(self, 'tunnel'):
    
43.                 headers['Proxy-Tunnel'] = self.tunnel
    
44.             return headers
    
45. 
    
46. 
    
47.     # 访问三次网站，使用相同的tunnel标志，均能够保持相同的外网IP
    
48.     for i in range(3):
    
49.         s = requests.session()
    
50. 
    
51.         a = HTTPAdapter()
    
52. 
    
53.         #  设置IP切换头
    
54.         a.tunnel = tunnel
    
55.         s.mount('https://', a)
    
56. 
    
57.         for url in targetUrlList:
    
58.             r = s.get(url, proxies=proxies)
    
59.             print r.text

复制代码