[已解决]爬虫爬1688上面的图片。为啥会出现UnicodeDecodeError: 'utf-8' codec can't decod...

13570609660

运行之后就出现这个错误了...UnicodeDecodeError: 'utf-8' codec can't decode byte 0xbb in position 1057: invalid start byte

这个是完整的错误信息：
Traceback (most recent call last):
  File "F:/前主人的工作/test/blackwater.py", line 48, in <module>
    saveimg()
  File "F:/前主人的工作/test/blackwater.py", line 38, in saveimg
    imgurl_list = geturl(url)
  File "F:/前主人的工作/test/blackwater.py", line 13, in geturl
    html = open_url(url).decode('utf-8')
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xbb in position 1057: invalid start byte




这个是源代码，我用这个爬百度贴吧是成功了的。。改了一下爬1688的就出现上面这个错误了~求指教~感谢！！~

import urllib.request
import os

def open_url(url) :
    req = urllib.request.Request(url)
    req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.104 Safari/537.36')
    response = urllib.request.urlopen(url)
    html = response.read()

    return html

def geturl(url) :
    html = open_url(url).decode('utf-8')
    imgurl_list = []
    a = html.find('<img src="')
    while a != -1 :
        b = html.find('.jpg', a, a+255)
        if b != -1 :
            imgurl_list.append(html[a+10: b+4])
        else :
            b = a + 10

        a = html.find('<img src="', b)

    return imgurl_list
'''
    for i in imgurl_list :
        print(i)
'''
def saveimg(file = 'WK') :
    os.mkdir(file)
    os.chdir(file)

    url = 'https://item.taobao.com/item.htm?spm=a230r.1.14.18.58a078ebX7sZ7F&id=574781588980&ns=1&abbucket=16#detail'
    #geturl(url)
   

    imgurl_list = geturl(url)

    img_len = len(imgurl_list)
    for each in range(img_len) :
        filename = imgurl_list[each].split('/')[-1]
        with open(filename, 'wb') as f :
            html = open_url(imgurl_list[each])
            f.write(html)

if __name__ == '__main__' :
    saveimg()

最佳答案

月排行榜 / 总排行榜

流言

2018-8-18 19:38:14

淘宝的编码是gbk的，是下楼上的办法。不行的话就是DOS窗口的问题。
改成这样：

1. html = open_url(url).decode('gb18030')

复制代码

跳转到最佳答案楼层

无符号整形

你踩过点没有？注意观察<meta charset="xxx">
把

1. html = open_url(url).decode('utf-8')

复制代码

里面的utf-8改成gbk试试。

流言

淘宝的编码是gbk的，是下楼上的办法。不行的话就是DOS窗口的问题。
改成这样：

1. html = open_url(url).decode('gb18030')

复制代码

kiof

也许存在个别其他编码字符  html = open_url(url).decode('utf-8',"ignore")你瞅瞅行不

13570609660

我有注意看的<meta charset="utf-8">上面的是这样的，没错。然后我也有尝试过gbk等其他的，也是不行诶
到现在还没有解决额

13570609660

流言 发表于 2018-8-18 19:38
淘宝的编码是gbk的，是下楼上的办法。不行的话就是DOS窗口的问题。
改成这样：

真可以了。为啥我查的时候都是'utf-8' 和 'gbk'的，为啥是用gb18030...

流言

13570609660 发表于 2018-8-19 22:31
真可以了。为啥我查的时候都是'utf-8' 和 'gbk'的，为啥是用gb18030...

不是程序编码的问题，是Windows dos窗口的问题。dos窗口默认是18030的，输出其他编码可能会出错
你写的这个程序在linux 下是没问题的