Python爬虫的一点问题

一品带刀护卫

1. # 网站地图爬虫
   
2. 
   
3. import urllib.request
   
4. from urllib.error import URLError, HTTPError, ContentTooShortError
   
5. import re
   
6. 
   
7. def download(url, user_agent='wswp', num_retries=2, charset='utf-8'):
   
8.     print('Downloading:', url)
   
9.     request = urllib.request.Request(url)
   
10.     request.add_header('User-Agent', user_agent)
    
11.     try:
    
12.         resp = urllib.request.urlopen(request)
    
13.         cs = resp.headers.get_content_charset()
    
14.         if not cs:
    
15.             cs = charset
    
16.         html = resp.read().decode(cs)
    
17.     except (URLError, HTTPError, ContentTooShortError) as e:
    
18.         print('Download Error:', e.reason)
    
19.         html = None
    
20.         if num_retries > 0:
    
21.             if hasattr(e, 'code') and 500 <= e.code < 600:
    
22.                 return download(url, num_retries-1)
    
23.         return html
    
24. 
    
25. def crawl_sitemap(url):
    
26.     # download the sitemap file
    
27.     sitemap = download(url)
    
28.     # extract the sitemap links
    
29.     links = re.findall('<loc>(.*?)</loc>', sitemap)
    
30.     # download each link
    
31.     for link in links:
    
32.         html = download(link)
    
33. 
    
34. crawl_sitemap('http://http://example.python-scraping.com/sitemap.xml')

复制代码

这是从书里面打出来的代码，有几个问题：
1.cs这变量是什么东西？
2.resp.headers.get_content_charset()整个headers和get_content_charset是哪里面的函数，百度了没找着
3.if hasattr(e, 'code') and 500 <= e.code < 600:这里面code是什么，e.code又是什么
4.links = re.findall('<loc>(.*?)</loc>', sitemap)      <loc>(.*?)</loc>这东西应该是正则表达式吧，应该是什么样？

ll104567

这都啥时候了还urllib呢
换一个http的请求库吧。

知乎搜索 python requests
然后好好看看