爬虫代理IP自动分配失败的原因

jackcoden

最近有小伙伴使用爬虫代理的时候发现一个问题，通过爬虫代理发起请求之后，并没有实现每个HTTP请求自动分配不同的代理IP，而是所有请求都是保持相同代理IP固定使用20秒之后，才会切换新的代理IP，这是什么原因导致的呢？小伙伴提供的部分代码如下：

1.     #! -*- encoding:utf-8 -*-
   
2. 
   
3.     import requests
   
4.     import random
   
5. 
   
6.     # 要访问的目标页面
   
7.     targetUrl = "http://httpbin.org/ip"
   
8. 
   
9.     # 要访问的目标HTTPS页面
   
10.     # targetUrl = "https://httpbin.org/ip"
    
11. 
    
12.     # 代理服务器(产品官网 www.16yun.cn)
    
13.     proxyHost = "t.16yun.cn"
    
14.     proxyPort = "31111"
    
15. 
    
16.     # 代理验证信息
    
17.     proxyUser = "username"
    
18.     proxyPass = "password"
    
19. 
    
20.     proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
    
21.         "host" : proxyHost,
    
22.         "port" : proxyPort,
    
23.         "user" : proxyUser,
    
24.         "pass" : proxyPass,
    
25.     }
    
26. 
    
27.     # 设置 http和https访问都是用HTTP代理
    
28.     proxies = {
    
29.         "http"  : proxyMeta,
    
30.         "https" : proxyMeta,
    
31.     }
    
32. 
    
33. 
    
34.     #  设置IP切换头
    
35.     tunnel = random.randint(1,10000)
    
36.    
    
37.    
    
38.     headers = {
    
39.         ‘Connection’:'keep-alive',
    
40.         'Accept-Language':'zh',
    
41.         "Proxy-Tunnel": str(tunnel)
    
42.     }
    
43. 
    
44.     for i in range(100):
    
45.         resp = requests.get(targetUrl, proxies=proxies, headers=headers)
    
46.         print resp.status_code
    
47.         print resp.text
    
48.         time.sleep(0.2)

复制代码

经过调试分析，上面的代码主要是两个问题：
1、‘Connection’:'keep-alive' 需要关闭
keep-alive 是客户端和服务端的协议规范，开启 keep-alive，则服务端在返回 response 后不关闭 TCP 连接，接收完响应报文后，客户端也不关闭连接，发送下一个 HTTP 请求时会重用该连接，这就导TCP的链接不断开，因此爬虫代理的自动IP切换就失效了。导致一个代理IP会长期保持使用，直到该代理IP的有效时间20秒到期之后，强制关闭TCP连接切换新的代理IP。
2、tunnel 参数设置错误
tunnel 是用来控制代理IP切换的控制参数。爬虫代理会检查tunnel的数值，数值不同就将HTTP请求随机分配一个新代理IP转发，tunnel相同就将HTTP请求分配相同的代理IP转发。因此为实现每个HTTP请求通过不同的代理IP转发，就应该在for下面实现tunnel = random.randint(1,10000)，确保每次HTTP请求中的tunnel是不同的数值。