[已解决]请问关于urllib.request.urlretrieve的问题

qq906907952

使用urllib.request.urlretrieve抓数据时怎么添加header 没有加user-agent有时会遇到403

最佳答案

月排行榜 / 总排行榜

暗恋你很久了。

2016-12-17 12:08:13

1. #设置自动处理cookies
   
2. cj = cookiejar.LWPCookieJar()
   
3. cookies = request.HTTPCookieProcessor(cj)
   
4. opener  = request.build_opener(cookies)
   
5. 
   
6. #默认协议头
   
7. DefaultHeaders = {
   
8.             "Accept":"*/*",
   
9.             "User-Agent":"Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET4.0C; .NET4.0E)",
   
10.             "Accept-Language":"zh-cn",
    
11.             "Accept-Encoding":"gzip;deflate",
    
12.             "Connection":"keep-alive",
    
13.             "Referer":"http://qzone.qq.com"
    
14. }
    
15. 
    
16. #GET访问
    
17. def Http(url,charset="utf-8",headers=DefaultHeaders):
    
18.     rr = request.Request(url=url, headers=headers)
    
19.     with opener.open(rr) as fp:
    
20.         if fp.info().get("Content-Encoding") == 'gzip':
    
21.             f = gzip.decompress(fp.read())
    
22.             res = f.decode(charset,'ignore')
    
23.         else:
    
24.             res = fp.read().decode(charset,'ignore')
    
25.     return res

复制代码

跳转到最佳答案楼层

暗恋你很久了。

1. #设置自动处理cookies
   
2. cj = cookiejar.LWPCookieJar()
   
3. cookies = request.HTTPCookieProcessor(cj)
   
4. opener  = request.build_opener(cookies)
   
5. 
   
6. #默认协议头
   
7. DefaultHeaders = {
   
8.             "Accept":"*/*",
   
9.             "User-Agent":"Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET4.0C; .NET4.0E)",
   
10.             "Accept-Language":"zh-cn",
    
11.             "Accept-Encoding":"gzip;deflate",
    
12.             "Connection":"keep-alive",
    
13.             "Referer":"http://qzone.qq.com"
    
14. }
    
15. 
    
16. #GET访问
    
17. def Http(url,charset="utf-8",headers=DefaultHeaders):
    
18.     rr = request.Request(url=url, headers=headers)
    
19.     with opener.open(rr) as fp:
    
20.         if fp.info().get("Content-Encoding") == 'gzip':
    
21.             f = gzip.decompress(fp.read())
    
22.             res = f.decode(charset,'ignore')
    
23.         else:
    
24.             res = fp.read().decode(charset,'ignore')
    
25.     return res

复制代码

忘忧草456789

厉害，拜读了