[已解决]python 爬虫编码问题，求解

lisn8271

python版本：3.6
系统：win10  64
代码如下：

1. import urllib
   
2. import urllib.request
   
3. import urllib.parse
   
4. from lxml import etree
   
5. import json
   
6. import jsonpath
   
7. 
   
8. 
   
9. # url = "http://dzh.mop.com/xiaohua.html"
   
10. url = "http://pclistinterface.mop.com/mdi/data.html?jsonpcallback=jQuery18304918444079793751_1512520532243&pgnum=0&colid=110035&pgsize=20&serialnum=300000&startcol=null&mirrorid=null&platform=pc&uid=15124740496765140&qid=null&login=null&_=1512520532291"
    
11. headers = {
    
12. "Host":"pclistinterface.mop.com",
    
13. "Connection":"keep-alive",
    
14. "Cache-Control":"max-age=0",
    
15. "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.89 Safari/537.36"
    
16. }
    
17. request = urllib.request.Request(url,headers=headers)
    
18. response = urllib.request.urlopen(request)
    
19. html = response.read().decode("UTF-8")
    
20. print(html)

复制代码

问题描述：目标网址返回的是一个json格式的数据，

1. print("response.read().decode("utf-8")")

复制代码

提示如下错误：
'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte，求解？？？

最佳答案

月排行榜 / 总排行榜

°蓝鲤歌蓝

2017-12-6 15:44:35

°蓝鲤歌蓝 发表于 2017-12-6 15:44
这里面有解决方式

https://zhuanlan.zhihu.com/p/25095566

跳转到最佳答案楼层

°蓝鲤歌蓝

这个我遇到过，好像是你想要获取的网页是以压缩的形式发送给你的，所以你需要先解压再编码，不解压的话会出现这个错误
不过你最好是把报错代码发出来，才能知道具体报错位置。

lisn8271

°蓝鲤歌蓝 发表于 2017-12-6 10:11
这个我遇到过，好像是你想要获取的网页是以压缩的形式发送给你的，所以你需要先解压再编码，不解压的话会出 ...

print("response.read().decode("utf-8")")        decode("utf-8")  就出错啊

°蓝鲤歌蓝

lisn8271 发表于 2017-12-6 11:40
print("response.read().decode("utf-8")")        decode("utf-8")  就出错啊

你这个又不是解压，只是转码，解压要用到gzip包，调用里面的函数，你要先解压再转码。
我都是基于我那次报错的解决方法来回答的。

lisn8271

°蓝鲤歌蓝 发表于 2017-12-6 11:49
你这个又不是解压，只是转码，解压要用到gzip包，调用里面的函数，你要先解压再转码。
我都是基于我那次 ...

嗯，对的，好像是压缩了，但是我发送的这个网页是个json的数据格式，headers 里面没有加Accept-Encoding: gzip, deflate  ，为什么返回的还是   压缩格式呢

lisn8271

°蓝鲤歌蓝 发表于 2017-12-6 11:49
你这个又不是解压，只是转码，解压要用到gzip包，调用里面的函数，你要先解压再转码。
我都是基于我那次 ...

另外，我是新手，python如何用这个gzip包啊

°蓝鲤歌蓝

lisn8271 发表于 2017-12-6 15:22
另外，我是新手，python如何用这个gzip包啊

这里面有解决方式

°蓝鲤歌蓝

°蓝鲤歌蓝 发表于 2017-12-6 15:44
这里面有解决方式

https://zhuanlan.zhihu.com/p/25095566