爬取新浪微博图片关于UnicodeDecodeError报错

三林小猎人

import urllib.request
import re


def open_url(url):
  req = urllib.request.Request(url)
  req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 UBrowser/5.6.11466.7 Safari/537.36')
  
  page = urllib.request.urlopen(req)
  html = page.read().decode('utf-8')

  return html

def get_img(html):
  p = r'<img node-type="imgShow" src="(^http+\.jpg)"'
  imglist = re.findall(p,html)


  for each in imglist:
    filename = each.split('/')[-1]
    urllib.request.urlretrieve(each,filename,None)
  


if __name__ == '__main__':
  url = 'http://weibo.com/u/3640184915/home?wvr=5'
  get_img(open_url(url))

  

Traceback (most recent call last):
  File "C:\Users\dell\Desktop\weibotupian.py", line 27, in <module>
    get_img(open_url(url))
  File "C:\Users\dell\Desktop\weibotupian.py", line 10, in open_url
    html = page.read().decode('utf-8')
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xca in position 319: invalid continuation byte

但是网页上的charset属性确实是utf-8啊！！！！

hldh214

因为html被压缩了, 用gzip模块试试

三林小猎人

hldh214 发表于 2016-4-8 18:15
因为html被压缩了, 用gzip模块试试

恩，好的，我试一试，谢谢！！

三林小猎人

hldh214 发表于 2016-4-8 18:15
因为html被压缩了, 用gzip模块试试

您好！我也是刚开始学，不知道gzip这个模块怎么用，请您赐教！谢谢了！

mongoole

需要"unicode_escape"解码