[Python]网络爬虫~大神之作（火热更新中·····）

lb971216008

游客，如果您要查看本帖隐藏内容请回复

一、网络爬虫的定义
网络爬虫，即Web Spider，是一个很形象的名字。
把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。
网络蜘蛛是通过网页的链接地址来寻找网页的。
从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，
然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。
如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。
这样看来，网络爬虫就是一个爬行程序，一个抓取网页的程序。
网络爬虫的基本操作是抓取网页。
那么如何才能随心所欲地获得自己想要的页面？
我们先从URL开始。

二、浏览网页的过程
抓取网页的过程其实和读者平时使用IE浏览器浏览网页的道理是一样的。
比如说你在浏览器的地址栏中输入    www.baidu.com    这个地址。
打开网页的过程其实就是浏览器作为一个浏览的“客户端”，向服务器端发送了一次请求，把服务器端的文件“抓”到本地，再进行解释、展现。
HTML是一种标记语言，用标签标记内容并加以解析和区分。
浏览器的功能是将获取到的HTML代码进行解析，然后将原始的代码转变成我们直接看到的网站页面。

三、URI和URL的概念和举例
简单的来讲，URL就是在浏览器端输入的    http://www.baidu.com    这个字符串。
在理解URL之前，首先要理解URI的概念。
什么是URI？
Web上每种可用的资源，如 HTML文档、图像、视频片段、程序等都由一个通用资源标志符(Universal Resource Identifier，URI)进行定位。
URI通常由三部分组成：
①访问资源的命名机制；
②存放资源的主机名；
③资源自身 的名称，由路径表示。
如下面的URI：
http://www.why.com.cn/myhtml/html1223/
我们可以这样解释它：
①这是一个可以通过HTTP协议访问的资源，
②位于主机 www.webmonkey.com.cn上，
③通过路径“/html/html40”访问。

四、URL的理解和举例
URL是URI的一个子集。它是Uniform Resource Locator的缩写，译为“统一资源定位 符”。
通俗地说，URL是Internet上描述信息资源的字符串，主要用在各种WWW客户程序和服务器程序上。
采用URL可以用一种统一的格式来描述各种信息资源，包括文件、服务器的地址和目录等。
URL的一般格式为(带方括号[]的为可选项)：
protocol :// hostname[:port] / path / [;parameters][?query]#fragment

URL的格式由三部分组成：
①第一部分是协议(或称为服务方式)。
②第二部分是存有该资源的主机IP地址(有时也包括端口号)。
③第三部分是主机资源的具体地址，如目录和文件名等。
第一部分和第二部分用“://”符号隔开，
第二部分和第三部分用“/”符号隔开。
第一部分和第二部分是不可缺少的，第三部分有时可以省略。

五、URL和URI简单比较
URI属于URL更低层次的抽象，一种字符串文本标准。
换句话说，URI属于父类，而URL属于URI的子类。URL是URI的一个子集。
URI的定义是：统一资源标识符；
URL的定义是：统一资源定位符。
二者的区别在于，URI表示请求服务器的路径，定义这么一个资源。
而URL同时说明要如何访问这个资源（http://）。





下面来看看两个URL的小例子。

1.HTTP协议的URL示例：
使用超级文本传输协议HTTP，提供超级文本信息服务的资源。
例：http://www.peopledaily.com.cn/channel/welcome.htm
其计算机域名为www.peopledaily.com.cn。
超级文本文件(文件类型为.html)是在目录 /channel下的welcome.htm。
这是中国人民日报的一台计算机。
例：http://www.rol.cn.net/talk/talk1.htm
其计算机域名为www.rol.cn.net。
超级文本文件(文件类型为.html)是在目录/talk下的talk1.htm。
这是瑞得聊天室的地址，可由此进入瑞得聊天室的第1室。

2．文件的URL
用URL表示文件时，服务器方式用file表示，后面要有主机IP地址、文件的存取路径(即目录)和文件名等信息。
有时可以省略目录和文件名，但“/”符号不能省略。
例：file://ftp.yoyodyne.com/pub/files/foobar.txt
上面这个URL代表存放在主机ftp.yoyodyne.com上的pub/files/目录下的一个文件，文件名是foobar.txt。
例：file://ftp.yoyodyne.com/pub
代表主机ftp.yoyodyne.com上的目录/pub。
例：file://ftp.yoyodyne.com/
代表主机ftp.yoyodyne.com的根目录。

爬虫最主要的处理对象就是URL，它根据URL地址取得所需要的文件内容，然后对它进行进一步的处理。
因此，准确地理解URL对理解网络爬虫至关重要。

lb971216008

所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。
类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端， 然后读取服务器端的响应资源。

在Python中，我们使用urllib2这个组件来抓取网页。
urllib2是Python的一个获取URLs(UniformResource Locators)的组件。

它以urlopen函数的形式提供了一个非常简单的接口。

最简单的urllib2的应用代码只需要四行。

我们新建一个文件urllib2_test01.py来感受一下urllib2的作用：

file:///C:/Users/lb/AppData/Local/Temp/msohtmlclip1/01/clip_image001.png

我们可以打开百度主页，右击，选择查看源代码（火狐OR谷歌浏览器均可），会发现也是完全一样的内容。

也就是说，上面这四行代码将我们访问百度时浏览器收到的代码们全部打印了出来。

这就是一个最简单的urllib2的例子。

除了"http:"，URL同样可以使用"ftp:"，"file:"等等来替代。

HTTP是基于请求和应答机制的：

客户端提出请求，服务端提供应答。

urllib2用一个Request对象来映射你提出的HTTP请求。

在它最简单的使用形式中你将用你要请求的地址创建一个Request对象，

通过调用urlopen并传入Request对象，将返回一个相关请求response对象，

这个应答对象如同一个文件对象，所以你可以在Response中调用.read()。

我们新建一个文件urllib2_test02.py来感受一下：

1.  import urllib2   

2.  req = urllib2.Request('http://www.baidu.com')   

3.  response = urllib2.urlopen(req)   

4.  the_page = response.read()   

5.  print the_page  

可以看到输出的内容和test01是一样的。

urllib2使用相同的接口处理所有的URL头。例如你可以像下面那样创建一个ftp请求。

1.  req = urllib2.Request('ftp://example.com/')  

在HTTP请求时，允许你做额外的两件事。

1.发送data表单数据

这个内容相信做过Web端的都不会陌生，

有时候你希望发送一些数据到URL(通常URL与CGI[通用网关接口]脚本，或其他WEB应用程序挂接)。

在HTTP中,这个经常使用熟知的POST请求发送。

这个通常在你提交一个HTML表单时由你的浏览器来做。

并不是所有的POSTs都来源于表单，你能够使用POST提交任意的数据到你自己的程序。

一般的HTML表单，data需要编码成标准形式。然后做为data参数传到Request对象。

编码工作使用urllib的函数而非urllib2。

我们新建一个文件urllib2_test03.py来感受一下：

1.  import urllib   

2.  import urllib2   

3.    

4.  url = 'http://www.someserver.com/register.cgi'   

5.     

6.  values = {'name' : 'WHY',   

7.            'location' : 'SDU',   

8.            'language' : 'Python' }   

9.    

10. data = urllib.urlencode(values) # 编码工作  

11. req = urllib2.Request(url, data)  # 发送请求同时传data表单  

12. response = urllib2.urlopen(req)  #接受反馈的信息  

13. the_page = response.read()  #读取反馈的内容  

如果没有传送data参数，urllib2使用GET方式的请求。

GET和POST请求的不同之处是POST请求通常有"副作用"，

它们会由于某种途径改变系统状态(例如提交成堆垃圾到你的门口)。

Data同样可以通过在Get请求的URL本身上面编码来传送。

1.  import urllib2   

2.  import urllib  

3.    

4.  data = {}  

5.    

6.  data['name'] = 'WHY'   

7.  data['location'] = 'SDU'   

8.  data['language'] = 'Python'  

9.    

10. url_values = urllib.urlencode(data)   

11. print url_values  

12.   

13. name=Somebody+Here&language=Python&location=Northampton   

14. url = 'http://www.example.com/example.cgi'   

15. full_url = url + '?' + url_values  

16.   

17. data = urllib2.open(full_url)   

这样就实现了Data数据的Get传送。

2.设置Headers到http请求

有一些站点不喜欢被程序（非人为访问）访问，或者发送不同版本的内容到不同的浏览器。

默认的urllib2把自己作为“Python-urllib/x.y”(x和y是Python主版本和次版本号,例如Python-urllib/2.7)，

这个身份可能会让站点迷惑，或者干脆不工作。

浏览器确认自己身份是通过User-Agent头，当你创建了一个请求对象，你可以给他一个包含头数据的字典。

下面的例子发送跟上面一样的内容，但把自身模拟成Internet Explorer。

（多谢大家的提醒，现在这个Demo已经不可用了，不过原理还是那样的）。

1.  import urllib   

2.  import urllib2   

3.    

4.  url = 'http://www.someserver.com/cgi-bin/register.cgi'  

5.    

6.  user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'   

7.  values = {'name' : 'WHY',   

8.            'location' : 'SDU',   

9.            'language' : 'Python' }   

10.   

11. headers = { 'User-Agent' : user_agent }   

12. data = urllib.urlencode(values)   

13. req = urllib2.Request(url, data, headers)   

14. response = urllib2.urlopen(req)   

15. the_page = response.read()   

lb971216008

欢迎一起学python爬虫先来说一说HTTP的异常处理问题。
当urlopen不能够处理一个response时，产生urlError。
不过通常的Python APIs异常如ValueError,TypeError等也会同时产生。
HTTPError是urlError的子类，通常在特定HTTPURLs中产生。

1.URLError
通常，URLError在没有网络连接(没有路由到特定服务器)，或者服务器不存在的情况下产生。

这种情况下，异常同样会带有"reason"属性，它是一个tuple（可以理解为不可变的数组），

包含了一个错误号和一个错误信息。

我们建一个urllib2_test06.py来感受一下异常的处理：

1.  import urllib2  

2.    

3.  req = urllib2.Request('http://www.baibai.com')  

4.    

5.  try: urllib2.urlopen(req)  

6.    

7.  except urllib2.URLError, e:   

8.      print e.reason  

按下F5，可以看到打印出来的内容是：

[Errno 11001] getaddrinfo failed

也就是说，错误号是11001，内容是getaddrinfo failed

2.HTTPError
服务器上每一个HTTP 应答对象response包含一个数字"状态码"。

有时状态码指出服务器无法完成请求。默认的处理器会为你处理一部分这种应答。

例如:假如response是一个"重定向"，需要客户端从别的地址获取文档，urllib2将为你处理。

其他不能处理的，urlopen会产生一个HTTPError。

典型的错误包含"404"(页面无法找到)，"403"(请求禁止)，和"401"(带验证请求)。

HTTP状态码表示HTTP协议所返回的响应的状态。

比如客户端向服务器发送请求，如果成功地获得请求的资源，则返回的状态码为200，表示响应成功。

如果请求的资源不存在， 则通常返回404错误。

HTTP状态码通常分为5种类型，分别以1～5五个数字开头，由3位整数组成：

------------------------------------------------------------------------------------------------

200：请求成功      处理方式：获得响应的内容，进行处理

201：请求完成，结果是创建了新资源。新创建资源的URI可在响应的实体中得到    处理方式：爬虫中不会遇到

202：请求被接受，但处理尚未完成    处理方式：阻塞等待

204：服务器端已经实现了请求，但是没有返回新的信 息。如果客户是用户代理，则无须为此更新自身的文档视图。    处理方式：丢弃

300：该状态码不被HTTP/1.0的应用程序直接使用， 只是作为3XX类型回应的默认解释。存在多个可用的被请求资源。   处理方式：若程序中能够处理，则进行进一步处理，如果程序中不能处理，则丢弃
301：请求到的资源都会分配一个永久的URL，这样就可以在将来通过该URL来访问此资源    处理方式：重定向到分配的URL
302：请求到的资源在一个不同的URL处临时保存    处理方式：重定向到临时的URL

304 请求的资源未更新     处理方式：丢弃

400 非法请求     处理方式：丢弃

401 未授权     处理方式：丢弃

403 禁止     处理方式：丢弃

404 没有找到     处理方式：丢弃

5XX 回应代码以“5”开头的状态码表示服务器端发现自己出现错误，不能继续执行请求    处理方式：丢弃

------------------------------------------------------------------------------------------------

HTTPError实例产生后会有一个整型'code'属性，是服务器发送的相关错误号。

Error Codes错误码
因为默认的处理器处理了重定向(300以外号码)，并且100-299范围的号码指示成功，所以你只能看到400-599的错误号码。
BaseHTTPServer.BaseHTTPRequestHandler.response是一个很有用的应答号码字典，显示了HTTP协议使用的所有的应答号。

当一个错误号产生后，服务器返回一个HTTP错误号，和一个错误页面。

你可以使用HTTPError实例作为页面返回的应答对象response。

这表示和错误属性一样，它同样包含了read,geturl,和info方法。

我们建一个urllib2_test07.py来感受一下：

1.  import urllib2  

2.  req = urllib2.Request('http://bbs.csdn.net/callmewhy')  

3.    

4.  try:  

5.      urllib2.urlopen(req)  

6.    

7.  except urllib2.URLError, e:  

8.    

9.      print e.code  

10.     #print e.read()  

按下F5可以看见输出了404的错误码，也就说没有找到这个页面。

3.Wrapping

所以如果你想为HTTPError或URLError做准备，将有两个基本的办法。推荐使用第二种。

我们建一个urllib2_test08.py来示范一下第一种异常处理的方案：

1.  from urllib2 import Request, urlopen, URLError, HTTPError  

2.    

3.  req = Request('http://bbs.csdn.net/callmewhy')  

4.    

5.  try:  

6.    

7.      response = urlopen(req)  

8.    

9.  except HTTPError, e:  

10.   

11.     print 'The server couldn\'t fulfill the request.'  

12.   

13.     print 'Error code: ', e.code  

14.   

15. except URLError, e:  

16.   

17.     print 'We failed to reach a server.'  

18.   

19.     print 'Reason: ', e.reason  

20.   

21. else:  

22.     print 'No exception was raised.'  

23.     # everything is fine  

和其他语言相似，try之后捕获异常并且将其内容打印出来。

这里要注意的一点，except HTTPError 必须在第一个，否则except URLError将同样接受到HTTPError 。
因为HTTPError是URLError的子类，如果URLError在前面它会捕捉到所有的URLError（包括HTTPError ）。

我们建一个urllib2_test09.py来示范一下第二种异常处理的方案：

1.  from urllib2 import Request, urlopen, URLError, HTTPError  

2.    

3.  req = Request('http://bbs.csdn.net/callmewhy')  

4.     

5.  try:   

6.     

7.      response = urlopen(req)   

8.     

9.  except URLError, e:   

10.   

11.     if hasattr(e, 'code'):   

12.    

13.         print 'The server couldn\'t fulfill the request.'   

14.    

15.         print 'Error code: ', e.code   

16.   

17.     elif hasattr(e, 'reason'):   

18.    

19.         print 'We failed to reach a server.'   

20.    

21.         print 'Reason: ', e.reason   

22.    

23.    

24. else:   

25.     print 'No exception was raised.'   

26.     # everything is fine

lb971216008

又想一起学爬虫的吗

╰☆忝婲雨☆╮

写的很好，感谢楼主

天外飞mao

感谢楼主

lslais2012

支持楼主

bydw

赞一个！！！

lb971216008

啦啦啦啦啦1 发表于 2016-8-19 16:15
写得不错，这是自己总结的么？

过奖啦，小白一个

lb971216008

╰☆忝婲雨☆╮ 发表于 2016-8-19 14:48
写的很好，感谢楼主

lb971216008

天外飞mao 发表于 2016-8-19 14:58
感谢楼主

后续还有更新，保持关注哦

lb971216008

bydw 发表于 2016-8-19 16:39
赞一个！！！

每天更新二

lb971216008

@SixPy 自己整理的，不算转载

SixPy

lb971216008 发表于 2016-8-20 13:13
@SixPy 自己整理的，不算转载

http://blog.csdn.net/pleasecallmewhy/article/details/8922826

对此，你如何解释？

lb971216008

SixPy 发表于 2016-8-20 13:20
http://blog.csdn.net/pleasecallmewhy/article/details/8922826

对此，你如何解释？

百度文库里找的

lb971216008

SixPy 发表于 2016-8-20 13:20
http://blog.csdn.net/pleasecallmewhy/article/details/8922826

对此，你如何解释？

为啥这么针对我，你看其他人的，随便一搜到处都是

SixPy

lb971216008 发表于 2016-8-20 13:27
为啥这么针对我，你看其他人的，随便一搜到处都是

你要转就转，但要注明源地址
还嘴硬说不是转的~

lb971216008

SixPy 发表于 2016-8-20 13:29
你要转就转，但要注明源地址
还嘴硬说不是转的~

百度文库找的，我哪知道上传那个人哪里找的

lb971216008

SixPy 发表于 2016-8-20 13:29
你要转就转，但要注明源地址
还嘴硬说不是转的~

说不定，你刚才发的那个网址也是转的别人的

SixPy

lb971216008 发表于 2016-8-20 13:31
百度文库找的，我哪知道上传那个人哪里找的

那我是怎么找到的？

SixPy

lb971216008 发表于 2016-8-20 13:32
说不定，你刚才发的那个网址也是转的别人的

你再扯淡，就禁烟2天，面壁思过去~