python 编码问题随笔

原文点击这里

借用原作者的一句话“据说，每个做 Python 开发的都被字符编码的问题搞晕过，最常见的错误就是 UnicodeEncodeError、UnicodeDecodeError，你好像知道怎么解决，遗憾的是，错误又出现在其它地方，问题总是重蹈覆辙”（这里用“”还是‘’我居然停顿了一下。。。）抛玉引砖下面说说我自己的理解。先说python3中的文字编码问题，毕竟现在python3已经成为我自己的主流使用版本了。

编码和解码再认知

上来就先纠正自己的一个认知错误，之前认为编码是将二进制流字符化给人看的，毕竟从字面上理解是这样的，同理解码就是讲人可以看的字符二级制化给计算机存储传输，BUT我的理解刚好错了180度。编码是将字符编程二进制流的过程，不过具体二进制流是什么样的还和编码格式有关，同理解码就是讲二进制流变成可以看的字符的过程，对应的python中编码就是encode()，解码就是decode()；不知道是我英文理解还是中文理解的有问题，感觉比较别扭，不过有一个关键词说服了我自己---“解码芯片”，所唯解码芯片就是将二进制的数据具体化的方法，如音频解码芯片，视频解码芯片，等等的。所以现在我就可以记住解码（decode()）就是二进制输入其他输出，编码就是其他输入二进制输出。一下是在python3上进行的试验过程。

在python2中str和unicode还不是一样的，str就是二进制流组成了，而unicode是字符型的借用原文的一段代码

>>> s = '禅'
>>> s
'\xec\xf8'
>>> type(s)
<type 'str'>

unicode

>>> u = u"禅"
>>> u
u'\u7985'
>>> type(u)
<type 'unicode'>

这是python2的特性，在python3中是这样的，所以说明在python3中str也是unicode字符，strCH_Unicode.encode之后的结果就是py2中的str了。

常见编解码错误

UnicodeEncodeError

UnicodeEncodeError 发生在 unicode 字符串转换成 str 字节序列的时候，来看一个python2中的例子，把一串 unicode 字符串保存到文件。

# -*- coding:utf-8 -*-
def main():
    name = u'Python之禅'
    f = open("output.txt", "w")
    f.write(name)

错误日志

UnicodeEncodeError: 'ascii' codec can't encode characters in position 6-7: ordinal not in range(128)

为什么会出现 UnicodeEncodeError？因为调用 write 方法时，Python 会先判断字符串是什么类型，如果是 str，就直接写入文件，不需要编码，因为 str 类型的字符串本身就是一串二进制的字节序列了。如果字符串是 unicode 类型，那么它会先调用 encode 方法把 unicode 字符串转换成二进制形式的 str 类型，才保存到文件，而 encode 方法会使用 python 默认的 ascii 码来编码

UnicodeDecodeError

UnicodeDecodeError 发生在 str 类型的字节序列解码成 unicode 类型的字符串时，这个问题在python的任何一个版本上都是可以试验验证出来的。一下为我在python3中的环境下验证出来的结果。

希望以后这种错误能少点出现，不过庆幸的是我用python2.7的时间不长。哈哈下班