[已解决]爬虫

君子好逑

import urllib.request


url = 'https://www.biduo.cc/biquge/39_39888/c13353637.html'

headers = {
'Accept-Encoding': 'gzip, deflate, br',
'Accept-Language': 'zh-CN',
'Cache-Control': 'no-cache',
'Connection': 'Keep-Alive',
#'Host': 'www.kanmaoxian.com',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18363'
}

res = urllib.request.Request(url=url,headers=headers)

response = urllib.request.urlopen(res)
print(response.read().decode("gbk",'ignore'))

有大佬能帮忙看看这个程序吗，网页是gbk编码的为什么按gbk解码后还是不行

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-8-18 23:00:35

把这个 headers 去掉：'Accept-Encoding': 'gzip, deflate, br' 即可

参考代码：

import urllib.request


url = 'https://www.biduo.cc/biquge/39_39888/c13353637.html'

headers = {
'Accept-Language': 'zh-CN',
'Cache-Control': 'no-cache',
'Connection': 'Keep-Alive',
#'Host': 'www.kanmaoxian.com',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18363'
}

res = urllib.request.Request(url=url,headers=headers)

response = urllib.request.urlopen(res)
print(response.read().decode("gbk")

跳转到最佳答案楼层

Twilight6

把这个 headers 去掉：'Accept-Encoding': 'gzip, deflate, br' 即可

参考代码：

import urllib.request


url = 'https://www.biduo.cc/biquge/39_39888/c13353637.html'

headers = {
'Accept-Language': 'zh-CN',
'Cache-Control': 'no-cache',
'Connection': 'Keep-Alive',
#'Host': 'www.kanmaoxian.com',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18363'
}

res = urllib.request.Request(url=url,headers=headers)

response = urllib.request.urlopen(res)
print(response.read().decode("gbk")

君子好逑

Twilight6 发表于 2020-8-18 23:00
把这个 headers 去掉：'Accept-Encoding': 'gzip, deflate, br' 即可

参考代码：

大佬，为啥要去掉那个，我整个从审查元素的headers搞下来的

°蓝鲤歌蓝

君子好逑 发表于 2020-8-18 23:22
大佬，为啥要去掉那个，我整个从审查元素的headers搞下来的

因为你加了那个之后网站给你返回的是经过 GZIP 压缩后的数据，你需要先解压再解码才能呈现出真正的内容。
所以有三种方法可以解决你的问题。
1. 楼上所说，去掉那行代码。
2. 不去那行代码，改成下面的形式

import gzip

content = gzip.decompress(response.read()).decode("gbk")
print(content)

3. 使用 requests （推荐）

君子好逑

°蓝鲤歌蓝 发表于 2020-8-18 23:26
因为你加了那个之后网站给你返回的是经过 GZIP 压缩后的数据，你需要先解压再解码才能呈现出真正的内容。 ...

谢谢大佬解惑