25 IP代理与IP代理池构建的两种方案实战

和vvv

25 IP代理与IP代理池构建的两种方案实战

一、IP代理概述
IP代理就是让爬虫使用代理IP去爬取对方网站。

（1）什么是IP
      百科的解释：IP地址（英语：Internet Protocol Address）是一种在Internet上的给主机编址的方式，也称为网际协议地址。常见的IP地址，分为IPv4与IPv6两大类。所谓IP地址就是给每个连接在Internet上的主机分配的一个32bit地址。按照TCP/IP协议规定，IP地址用二进制来表示，每个IP地址长32bit，比特换算成字节，就是4个字节。例如一个采用二进制形式的IP地址是“00001010000000000000000000000001”，这么长的地址，人们处理起来也太费劲了。为了方便人们的使用，IP地址经常被写成十进制的形式，中间使用符号“.”分开不同的字节。于是，上面的IP地址可以表示为“10.0.0.1”，IP地址的这种表示法叫做“点分十进制表示法”。
      简单地说，IP地址就是上网主机所获得的一个唯一的编号。

（2）如何获取代理IP

      然后第二个问题就是如何获取代理IP。这可以在网上搜寻。免费的有，收费的也有。众所周知，收费的东西总是要好一点的。如果只是平时用做练习，用免费的就好。如果是公司或者个人专门获取数据，则需要选择优质的IP。
      免费的代理IP：西刺代理（http://www.xicidaili.com/）等等。专业的代理IP：大象代理（http://www.daxiangdaili.com/）等等。
      由于钱的问题，接下来的例子都是使用免费的代理。专业的代理IP主要是用接口来接收IP，比我们自己手动输入要方面。而且，其IP的质量也好，也就是稳定速度快。

二、IP代理池的第一种方式（适合代理IP稳定）

利用urllib.request.ProxyHandler添加代理IP。

（1）构建IP代理

1. <font size="3">ip = "61.191.41.130"
   
2. #利用urllib.request.ProxyHandler添加代理IP
   
3. proxy = urllib.request.ProxyHandler({"http":ip})
   
4. opener = urllib.request.build_opener(proxy,urllib.request.HTTPHandler)
   
5. urllib.request.install_opener(opener)
   
6. url = "http://www.baidu.com"
   
7. data = urllib.request.urlopen(url).read().decode('utf-8')
   
8. print(len(data))</font>

复制代码

1. 111168

复制代码

显然是成功的。如果访问不成功，应该是IP的问题。多次更换，应该就没问题了。

（2）构建IP代理池
与构建用户代理池相似，使用random模块。

1. import random
   
2. import urllib.request
   
3. ippools = [
   
4.     "61.191.41.130",
   
5.     "122.238.12.191",
   
6.     "222.161.56.166",
   
7.     ]
   
8. 
   
9. def ip(ippools):
   
10.     thisip = random.choice(ippools)
    
11.     print("当前代理IP:"+thisip)
    
12.     proxy = urllib.request.ProxyHandler({"http":thisip})
    
13.     opener = urllib.request.build_opener(proxy,urllib.request.HTTPHandler)
    
14.     urllib.request.install_opener(opener)
    
15. 
    
16. for i in range(0,3):
    
17.     try:
    
18.         ip(ippools)
    
19.         url = "http://www.baidu.com"
    
20.         data1 = urllib.request.urlopen(url).read()
    
21.         print("访问成功"+str(len(data1)))
    
22.     except Exception as err:
    
23.         print(err)

复制代码

结果：

1. 当前代理IP:61.191.41.130
   
2. 访问成功111457
   
3. 当前代理IP:222.161.56.166
   
4. <urlopen error [WinError 10061] 由于目标计算机积极拒绝，无法连接。>
   
5. 当前代理IP:222.161.56.166
   
6. <urlopen error [WinError 10061] 由于目标计算机积极拒绝，无法连接。>

复制代码

可以发现，有的可以成功，有的则不行。这完全是由于代理IP的问题。免费的东西，只有忍忍。
三、IP代理池的第二种方式(适合代理IP不稳定):接口调用

由于并没有购买，这里只是简单的用代码演示一下。接口就是你付费了之后，别人会发给你的一个链接。我的代码里用的是免费的（其实是爬取免费的IP代理网战，把IP地址提取出来）。付费的会有专门的接口调用文档。
完整代码：

游客，如果您要查看本帖隐藏内容请回复

由于接口的问题，会出现一些问题。但思路是相同的：

1. 调用了一次接口
   
2. <urlopen error [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。>
   
3. 当前用的IP：122.238.12.191
   
4. <urlopen error [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。>
   
5. 当前用的IP：222.161.56.166
   
6. <urlopen error [WinError 10061] 由于目标计算机积极拒绝，无法连接。>
   
7. list index out of range
   
8. list index out of range
   
9. list index out of range
   
10. list index out of range
    
11. list index out of range
    
12. list index out of range
    
13. list index out of range
    
14. 调用了一次接口
    
15. <urlopen error [WinError 10061] 由于目标计算机积极拒绝，无法连接。>

复制代码

总的来说，IP代理是比浏览器伪装较好的一种伪装技术。因为它利用的是别人上网的IP，因此就对己方上网IP进行的保护。如果你的可用IP足够多，并且有结合了浏览器伪装。那么，即使做大规模的爬取，对方也是很难发现是爬虫在访问网站。

当时就吓傻了

来看看

kkkkl

非常感谢，我先好好看一下你的帖子，有问题再请教~谢谢了

warrenyan

学习一下，

Brance

mark

木木的青

非常好的文档

tuxiaoqing

感谢老铁分享

天使骑魔鬼

张大象

看看

梦想一事无成

一直在看你的笔记 ，思路清晰而且易懂

ledehui

学习

来钓鱼

来学习

欧大飞

谢谢大神

payton24

不错，谢谢分享

hehedada

shengexwx

感谢大神！

ronin81

厉害了

zhsworld

xiexie

瓦蓝

燉盅

谢谢楼主。。。。。。。