[已解决]爬妹子图的问题和疑问

夜深听雨

一开始我是照着小甲鱼老师的代码敲的但后来想自己试一试如果不用urlretrieve用最原始的with open XXX as f: f.write(XX)这样的方法来保存图片但是发现系统报错了，显示的是UnicodeDecodeError: 'utf-8' codec can't decode byt，于是我搜了搜论坛里的大神回答发现可以加入gzip板块，

1. if response.info().get('Content-Encoding') == 'gzip':
   
2.     buf = io.BytesIO(response.read())
   
3.     gzip_f = gzip.GzipFile(fileobj=buf)
   
4.     content = gzip_f.read()
   
5. else:
   
6.     content = response.read()

复制代码

我试了以后发现没有报错但是文件夹里没有照片，瞬间懵逼
继续搜看到了小甲鱼老师的有关chardet的使用的介绍，然后跟着安装了chardet，却又出现了新的错误“ raise ValueError('Expected a bytes object, not a unicode object') ValueError: Expected a bytes object, not a unicode object”
很疑惑，有谁能用任意一种方法解决显示UnicodeDecodeError: 'utf-8' codec can't decode byt的问题吗？

1. import urllib.request
   
2. import re
   
3. import os
   
4. import chardet
   
5. 
   
6. def url_open(url):
   
7.     req = urllib.request.Request(url)
   
8.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36')
   
9.     response = urllib.request.urlopen(req)
   
10.     if chardet.detect(response)['encoding'] == 'GB2312':
    
11.         response.decode('GBK')
    
12.     html = respose.read().decode('utf-8')
    
13.     return html
    
14. def get_img(html):
    
15.     p = r'<img class="BDE_Image" src="([^"]+\.jpg)"'
    
16.     address = re.findall(p,html)
    
17.     for each in address:
    
18.         filename = each.split("/")[-1]
    
19.         with open(filename,'wb') as f:
    
20.             img=url_open(each)
    
21.             f.write(img)
    
22. def download(folder = 'pretty'):
    
23.     os.mkdir(folder)
    
24.     os.chdir(folder)
    
25.     url = "https://tieba.baidu.com/p/5085123197"
    
26.     get_img(url_open(url))
    
27. if __name__ == '__main__':
    
28.     download()
    

复制代码

最佳答案

月排行榜 / 总排行榜

flyblood

2017-7-27 10:29:47

html = respose.read()去掉 .decode('utf-8') 因为妹子图不需要转译的

跳转到最佳答案楼层

flyblood

html = respose.read()去掉 .decode('utf-8') 因为妹子图不需要转译的