鱼C论坛

 找回密码
 立即注册
查看: 49213|回复: 117

[技术交流] Python编码问题的解决方案总结

  [复制链接]
发表于 2014-12-7 16:29:50 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
初学 Python,相信大家遇到的一大难题就是编码问题,如下:
>>> 
Traceback (most recent call last):
  File "/Users/FishC/Documents/Python/test.py", line 2, in <module>
    print(f1.read())
  File "/Library/Frameworks/Python.framework/Versions/3.4/lib/python3.4/encodings/ascii.py", line 26, in decode
    return codecs.ascii_decode(input, self.errors)[0]
UnicodeDecodeError: 'ascii' codec can't decode byte 0xce in position 0: ordinal not in range(128)
这样的报错信息着实令大家很头疼,因为在网上很难找到解决方案。

这里小甲鱼给大家总结一下几种会导致编码问题的案例,并逐一解释......


案例一:中文输出是乱码?
# Python 版本:2.7.6
>>> string1 = "我爱鱼C工作室"
>>> string1
'\xe6\x88\x91\xe7\x88\xb1\xe9\xb1\xbcC\xe5\xb7\xa5\xe4\xbd\x9c\xe5\xae\xa4'
>>> print string1
我爱鱼C工作室
>>> string2 = "I love FishC"
>>> string2
'I love FishC'
问:为何无法直接显示中文的字符串?

分析:

因为 Python2.x 的版本默认的编码是 ASCII,ASCII 默认只用一个字节来存放数据。由于中国汉字博大精深,一个字节是不足以存放所有的汉字的。因此,string1 只能打印出中文字符串在内存中的数据,这并不是错误。

解决方案:

使用 Python3,因为 Python3 默认使用 UTF-8 编码。

延伸知识:

1. 可以用以下方法获得当前的默认编码:
>>> import sys
>>> sys.getdefaultencoding()
'ascii'
2. 字符集与字符集编码详解


案例二:普通字符串和 Unicode 字符串进行拼接抛出 UnicodeDecodeError 异常
>>> string = "我爱" + u"FishC"
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe6 in position 0: ordinal not in range(128)
分析:

使用 + 号进行字符串拼接,左边是普通字符串,右边是 Unicode 字符串。当两种类型的字符串拼接的时候,Python 会自动将左边的中文字符串转换为 Unicode 字符串,再进行拼接操作。但由于 "我爱" 的 ASCII 编码为 '\xe6\x88\x91\xe7\x88\xb1',其中十六进制 '\xe6' 对应的值是 230。当编码值在 0 ~ 127 的时候,Unicode 和 ASCII 是兼容的,转换不会有什么问题。但当值大于 128 的时候,ASCII 编码便不能直接转换为 Unicode 了。因此,抛出 UnicodeDecodeError。

解决方案:

1. 使用 Python3

2. 指定转换为 Unicode 的解码方式:
>>> string = "我爱".decode('utf-8') + u"FishC"
>>> print string
我爱FishC
3. 将 Unicode 字符串部分进行编码:
>>> string = "我爱" + u"FishC".encode("utf-8")
>>> print string
我爱FishC
延伸知识:

Unicode 编码系统的发明是为了统一各国文字的编码,因此把它称为万国码。Unicode 为每种语言设置了唯一的二进制编码表示方式,也就是说无论哪个国家的语言,都可以在 Unicode 上找到对应的代码。因此,当不同的编码系统进行相互转换的时候,可以利用 Unicode 做一个“中介”。

其他编码系统到 Unicode 的转换过程我们称为解码(decode),将 Unicode 转换为其他编码系统的过程称之为编码(encode)。例如 A 编码需要转换为 B 编码,过程如下:

A编码 -> decode(A) -> Unicode -> encode(B) -> B 编码


案例三:文件编码与 Python 编码不同

test.txt 内容如下,并保存为 GB2312 编码:
 我爱鱼C工作室,真的!
test.py 内容如下:
f1 = open("test.txt")
print(f1.read())
f1.close
代码执行后会报错:
>>> 
Traceback (most recent call last):
  File "/Users/FishC/Documents/Python/test.py", line 4, in <module>
    print(f1.read())
  File "/Library/Frameworks/Python.framework/Versions/3.4/lib/python3.4/encodings/ascii.py", line 26, in decode
    return codecs.ascii_decode(input, self.errors)[0]
UnicodeDecodeError: 'ascii' codec can't decode byte 0xce in position 0: ordinal not in range(128)
分析:

如果前边的内容都可以理解了,那么解决这样的编码问题就不再难得住你啦~~~

使用 open 打开文件的编码格式取决于系统(可以通过 locale.getpreferredencoding() 获得),认真看报错信息,这里系统使用 ASCII 对文件内容进行解码,遇到错误......因为我们知道文件的存放格式是 GB2312,因此我们只需要在打开文件的时候设置 encoding="gb2312" 即可解决问题:
f1 = open("test.txt", encoding="gb2312")
print(f1.read())
f1.close

希望起到一个抛砖引玉的作用,有关 Python 的编码问题,大家可以在这个帖子继续展开讨论~

如果本文对你有帮助,可以通过【评分】功能加分鼓励哦^_^



评分

参与人数 22荣誉 +99 鱼币 +93 贡献 +54 收起 理由
不忘初心7621 + 5 + 5 + 3
yinxiaoqing + 5 + 5 + 3 无条件支持楼主!
lay仰仰 + 5 + 5 + 3
ccluo + 5 + 5 + 3
dong628 + 5 + 5 + 3 感谢楼主无私奉献!
七磅 + 5 + 5 + 3 无条件支持楼主!
学学看看 + 1 感谢楼主无私奉献!
黄金猫 + 5 + 5 + 3 看懂了,赞!
zxp1310 + 5 + 5 + 3
炮小胖 + 5 感谢楼主无私奉献!

查看全部评分

本帖被以下淘专辑推荐:

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2014-12-7 18:39:26 | 显示全部楼层
终于发现了装不上3.x以下的好处了,不用担心打印的编码问题了。。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 3 反对 0

使用道具 举报

发表于 2014-12-8 11:04:58 | 显示全部楼层
支持下~~~
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 2 反对 0

使用道具 举报

发表于 2014-12-11 16:04:03 | 显示全部楼层
感谢楼主啊~~~
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 1 反对 0

使用道具 举报

发表于 2014-12-22 22:19:22 | 显示全部楼层
好文章!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 1 反对 0

使用道具 举报

发表于 2014-12-22 22:33:33 | 显示全部楼层
学习了!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 1 反对 0

使用道具 举报

发表于 2014-12-27 16:47:08 | 显示全部楼层
:lol::lol::lol::lol:
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2014-12-27 17:22:18 | 显示全部楼层
起先用的是 2.7, 编码问题纠结了足有3天,折腾了3天之后貌似有点头绪(windows),现在忘了,后来一看python3 无压力,就果断换3了, 用着舒心啊。。。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 3 反对 0

使用道具 举报

发表于 2015-2-14 14:02:38 | 显示全部楼层
非常感谢!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 1 反对 0

使用道具 举报

发表于 2015-3-14 20:30:19 | 显示全部楼层
藏起来
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 1 反对 0

使用道具 举报

发表于 2015-3-24 18:50:23 | 显示全部楼层
又学到了 支持
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2015-6-6 22:21:39 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2015-7-4 23:51:50 | 显示全部楼层
非常感谢!~~
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2015-7-6 18:07:26 | 显示全部楼层
谢谢分享方案
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2015-11-28 10:24:21 | 显示全部楼层
优秀!!!!!!!!!!!!!!!!!!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2015-12-10 14:34:53 | 显示全部楼层
看一些其他资料介绍,现在的Python3.X开始用字符串类型(str)来代替Unicode类型了,省去了不少编码问题:lol:
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2015-12-17 23:17:56 | 显示全部楼层
本帖最后由 jeffery_xu82 于 2015-12-17 23:57 编辑

学习中。谢谢。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2015-12-23 21:39:55 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2015-12-31 20:55:29 | 显示全部楼层
又长知识了,谢谢楼主
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2016-2-10 19:17:43 | 显示全部楼层
学习了
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-12-22 23:51

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表