[已解决]python3.6抓取妹子图图片出现UnicodeDecodeError: 'gb2312' codec can't decode by...

taotao0325

求大神帮忙看看，已经看了三天了都没找到解决方法。

初学python，煎蛋网抓不了图片，因此我用的meizutu，在网页二级制内容编码转换为gb2312时出现了解码异常(网页默认编码就是gb2312)，不明觉厉呀，求助！！

源码如下：
import urllib
import os
import re

def url_open(url):
    req = urllib.request.Request(url)
    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36')
    req.add_header('Referer','http://www.meizitu.com/')
    response = urllib.request.urlopen(req)
    html = response.read()
   
    return html

def find_iamges(url):
   
    html = url_open(url).decode('gb2312')

#    p = r'target="_blank"><img src="([^"]+\.jpg)"'
#    img_addrs = re.findall(p,html)
#   
#    for each in img_addrs:
#        print(each)
   
    html = url_open(url)
    img_addrs = []
    a = html.find('img src=')
   
    print('a is %d' % a)
    while a != -1:
        b = html.find('.jpg',a,a+255)
        print('b is %d' % b)
        if b != -1:
            img_addrs.append(html[a+9:b+4])
        else:
            b = a + 9
            
        a = html.find('img src=',b)
        print('a is %d' % a)

    return img_addrs

def save_images(folder,image_addrs):
    for each in image_addrs:
        filename = each.split('/')[-1]
        with open(filename, 'wb') as f:
            img = url_open("http:"+each)
            f.write(img)

def download_pic(folder = 'meizitu',pages = 15):
    if not os.path.exists(folder):
        os.mkdir(folder)
    os.chdir(folder)
   
    url = 'http://www.meizitu.com/'
   
    iamge_addrs = find_iamges(url)
    save_images(folder,iamge_addrs)

if __name__ == '__main__':
    download_pic()




错误异常信息如下：

  File "C:/Users/101002200/download_meizitu.py", line 22, in find_iamges
    html = url_open(url).decode('gb2312')

UnicodeDecodeError: 'gb2312' codec can't decode byte 0x8c in position 22143: illegal multibyte sequence

最佳答案

月排行榜 / 总排行榜

°蓝鲤歌蓝

2017-12-15 14:47:41

taotao0325 发表于 2017-12-15 14:43
就是我这个源码，解码方式修改为gbk可以？

对的，因为gbk包含了gb2312

跳转到最佳答案楼层

°蓝鲤歌蓝

讲道理，我觉得你爬取的网页数据也是压缩格式

°蓝鲤歌蓝

我刚刚爬了一下，是GBK格式啊

°蓝鲤歌蓝

你的代码里面好多错误

taotao0325

°蓝鲤歌蓝 发表于 2017-12-7 17:36
你的代码里面好多错误

  帮忙指导下呗

taotao0325

°蓝鲤歌蓝 发表于 2017-12-7 16:55
讲道理，我觉得你爬取的网页数据也是压缩格式

楼主可以自己打开网页查看下源码，是gb2312的

taotao0325

°蓝鲤歌蓝 发表于 2017-12-7 17:31
我刚刚爬了一下，是GBK格式啊

使用urlopen方式获取网址内容，读取的内容可以正常解码吗

°蓝鲤歌蓝

1. #爬妹子网妹子图
   
2. import urllib.request
   
3. import os
   
4. import re
   
5. 
   
6. def url_open(url):   
   
7.     req = urllib.request.Request(url)
   
8.     req.add_header('User-Agent',"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0")
   
9.     response = urllib.request.urlopen(req)
   
10.     html = response.read()
    
11. 
    
12.     print(url)
    
13.     return html
    
14.    
    
15. def get_page(url):
    
16.     lastpath = re.search(r'<li class="thisclass">(\d)</li>' ,url_open(url).decode('gbk'))
    
17.     return lastpath.group(1)
    
18.   
    
19. def find_imgs(url):
    
20.     html = url_open(url).decode('gbk')
    
21.     p = r'<img src="([^"]+\.jpg)"'
    
22.    
    
23.     img_addrs = re.findall(p,html)
    
24.    
    
25.     return img_addrs
    
26.            
    
27.     #return img_addrs
    
28. 
    
29. def download_mm(folder='OOXX'):
    
30.     os.mkdir(folder)
    
31.     os.chdir(folder)
    
32.     url = 'http://www.meizitu.com/'
    
33.     #page_str = get_page(url)
    
34.     #page_num = int(page_str)
    
35.     page_num = int(get_page(url))
    
36.     while page_num<=1:
    
37.        # page_num += 1
    
38.         page_url = url + 'a/more_' + str(page_num) + '.html'
    
39.         img_addrs = find_imgs(page_url)
    
40.         x = (len(img_addrs)+1)*(page_num-1)
    
41.         for each in img_addrs:
    
42.             filename = str(x)+'.'+each.split('.')[-1]
    
43.             x +=1
    
44.             with open(filename, 'wb') as f:
    
45.                 img = url_open(each)
    
46.                 f.write(img)
    
47.         page_num += 1
    
48.       
    
49.         
    
50. if __name__ == '__main__':
    
51.     download_mm()
    

复制代码

°蓝鲤歌蓝

taotao0325 发表于 2017-12-14 21:16
使用urlopen方式获取网址内容，读取的内容可以正常解码吗

在你的基础上改的

°蓝鲤歌蓝

taotao0325 发表于 2017-12-14 21:15
楼主可以自己打开网页查看下源码，是gb2312的

1. import urllib.request
   
2. 
   
3. url = 'http://www.meizitu.com/'
   
4. response = urllib.request.urlopen(url)#.decode('gbk')
   
5. html = response.read()
   
6. #html = gzip.decompress(html).decode("")
   
7. html = html.decode('gbk')
   
8. print(html

复制代码

爬的你的网站
编码用的gbk

°蓝鲤歌蓝

taotao0325 发表于 2017-12-14 21:16
使用urlopen方式获取网址内容，读取的内容可以正常解码吗

不是压缩形式就可以，只要编码正确。

taotao0325

°蓝鲤歌蓝 发表于 2017-12-14 21:28
爬的你的网站
编码用的gbk

charset=gb2312

taotao0325

°蓝鲤歌蓝 发表于 2017-12-14 21:29
不是压缩形式就可以，只要编码正确。

不行的。我这个这个代码也简单，楼主可以自己试下

°蓝鲤歌蓝

taotao0325 发表于 2017-12-15 10:23
charset=gb2312

我也看了是gb2312,但是用这个确实爬不了。用gbk却可以，其中具体原因我也不知道。

°蓝鲤歌蓝

taotao0325 发表于 2017-12-15 10:24
不行的。我这个这个代码也简单，楼主可以自己试下

你爬取的网页只是大部分编码格式是gb2312，但是还有一部分的是gbk格式，所以你只用gb2312是不行的，gbk包含了gb2312.

taotao0325

°蓝鲤歌蓝 发表于 2017-12-15 12:40
你爬取的网页只是大部分编码格式是gb2312，但是还有一部分的是gbk格式，所以你只用gb2312是不行的，gbk包 ...

如果既有gbk又有gb2312我该怎么弄？gbk和gb2312我都试过，单独解码都是失败

taotao0325

°蓝鲤歌蓝 发表于 2017-12-15 12:14
我也看了是gb2312,但是用这个确实爬不了。用gbk却可以，其中具体原因我也不知道。

就是我这个源码，解码方式修改为gbk可以？

°蓝鲤歌蓝

taotao0325 发表于 2017-12-15 14:43
如果既有gbk又有gb2312我该怎么弄？gbk和gb2312我都试过，单独解码都是失败

你用gbk单独解码失败？我试过你这个网站用gbk解码是可以的啊

°蓝鲤歌蓝

taotao0325 发表于 2017-12-15 14:43
就是我这个源码，解码方式修改为gbk可以？

对的，因为gbk包含了gb2312

taotao0325

°蓝鲤歌蓝 发表于 2017-12-15 14:47
对的，因为gbk包含了gb2312

怪了，今天还真可以，我那天调试的时候试了gbk一直不行，花了一天半时间.....


谢谢啦