【爬虫】 网站压缩问题

snail:)

最近爬了些网站，有些网站下载下来，编码正确但是，还是显示乱码，据说是网站数据被压缩了，网上有python2.7的解压代码，但是我用的是py3.6，很多模块不互通，代码修改麻烦，有没有大牛有Py3.6的网站解压代码。

°蓝鲤歌蓝

发图吧，可能是gzip压缩数据。

snail:)

°蓝鲤歌蓝 发表于 2018-2-21 21:20
发图吧，可能是gzip压缩数据。

import requests
from gzip import GzipFile
from io import StringIO
import zlib

def loadData(url):
    headers = {'user-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
    html = requests.get(url,headers = headers)
    encoding = html.info().get('Content-Encoding')
    if encoding == 'gzip':
            content = gzip(html.text)
    elif encoding == 'deflate':
            content = deflate(html.text)
    return content

def gzip(data):
    buf = StringIO(data)
    f = gzip.GzipFile(fileobj=buf)
    return f.read()

def deflate(data):
    try:
        return zlib.decompress(data,-zlib.MAX_WBITS)
    except zlib.error:
        return zlib.decompress(data)

def main():
    url = "http://tjj.zj.gov.cn/tjsj/ydsj/gy/2017/201702/t20170224_192095.html"
    content = loadData(url)
    with open('工业.txt','w',encoding = 'utf-8')as f:
        f.write(content.text)

if __name__ == '__main__':
    main()

snail:)

报错

Charles未晞

snail:) 发表于 2018-2-21 23:19
报错

这是格式问题小伙子。。。。。。。。。。

snail:)

Charles未晞 发表于 2018-2-21 23:55
这是格式问题小伙子。。。。。。。。。。

我是按py2.7的改的，我也知道是格式问题，后续怎么改改才能在py3.6上用呢