求助关于网页解码的问题.

fre

这2天 在爬小说玩.在对网页进行decode的时候 遇到了问题
有的网页里面包含一些特殊字符之类的东西
没法用网页声明的编码进行解码
这个问题应该如何解决?

比如这样

wei_Y

发代码。。

fre

wei_Y 发表于 2015-8-13 16:25
发代码。。

好的稍等

fre

wei_Y 发表于 2015-8-13 16:25
发代码。。

代码来了

1. import urllib.request
   
2. html = urllib.request.urlopen('http://www.kanunu8.com/files/terrorist/201102/1478/33582.html')
   
3. html = html.read().decode('gb2312')
   

复制代码

http://www.kanunu8.com/files/terrorist/201102/1478/33581.html
http://www.kanunu8.com/files/terrorist/201102/1478/33582.html

2个网址 同一个网站同一本小说的2个章节 上一个章节可以 下一个章节就没法decode了 错误信息显示某个字符没法用gb2312来decode

看 这是运行图片

wei_Y

fre 发表于 2015-8-13 16:44
代码来了

用gbk解码，gb2312都用gbk解码。

fre

wei_Y 发表于 2015-8-13 16:48
用gbk解码，gb2312都用gbk解码。

好吧..gbk解码果然没问题..那么其他时候有没有可能还会遇到这种情况? 网页编码不统一?

wei_Y

fre 发表于 2015-8-13 16:53
好吧..gbk解码果然没问题..那么其他时候有没有可能还会遇到这种情况? 网页编码不统一?

一般好像都用的utf-8和gb2312吧，要是遇到奇葩的先用它写的解码看看，不行的话只能一个个试了。。

fre

wei_Y 发表于 2015-8-13 16:57
一般好像都用的utf-8和gb2312吧，要是遇到奇葩的先用它写的解码看看，不行的话只能一个个试了。。

愁啊... 又遇到gbk没法decode了

怎么能避免出错呢?
写个try: 如果gbk出错就调用gb2312 如果gb2312出错就调用gbk?
好像一点都不优雅

wei_Y

fre 发表于 2015-8-13 18:54
愁啊... 又遇到gbk没法decode了

怎么能避免出错呢?

不会吧，gb2312能解码的gbk一定能解码吧。

fre

wei_Y 发表于 2015-8-13 16:57
一般好像都用的utf-8和gb2312吧，要是遇到奇葩的先用它写的解码看看，不行的话只能一个个试了。。

遇到一个字符 gbk gb2312都没法解码..我了个大去....

求指点

wei_Y

fre 发表于 2015-8-13 18:59
遇到一个字符 gbk gb2312都没法解码..我了个大去....

求指点

还有一个gb18030编码，测试成功。- -。编码就是恶心。。

fre

wei_Y 发表于 2015-8-13 19:07
还有一个gb18030编码，测试成功。- -。编码就是恶心。。

我了个大去.... 谢了  明天我找找编码的资料看看

wei_Y

fre 发表于 2015-8-13 19:08
我了个大去.... 谢了  明天我找找编码的资料看看

可能用gbk不能解码的原因是近几年有更新而python没有更新吧。。

fre

wei_Y 发表于 2015-8-13 19:09
可能用gbk不能解码的原因是近几年有更新而python没有更新吧。。

OK  了解了

wei_Y

fre 发表于 2015-8-13 19:11
OK  了解了

刚才查了查，才明白，用gb18030应该万无一失了。
http://zhidao.baidu.com/link?url ... qKBkvpAIHgLJMdk9AYy

fre

wei_Y 发表于 2015-8-13 19:13
刚才查了查，才明白，用gb18030应该万无一失了。
http://zhidao.baidu.com/link?url=Pn1BxpSAeJWTDcNfFA ...

soga gb18030兼容gbk和gb2312 以后就用这个了~~