Python2 和 Python3 编码问题

基本存储单元

• 位（bit, b）：二进制数中的一个数位，可以是0或者1，是计算机中数据的最小单位。
• 字节（Byte，B）：计算机中数据的基本单位，每8位组成一个字节。
• 1B = 8b
• 各种信息在计算机中存储、处理，至少需要一个字节的空间。

字节与字符

• 计算机存储的一切数据都是由一串 0 和 1 组成的字节序列构成。
• 字符就是一个符号，比如一个汉字、一个英文字母、一个标点都可以称为一个字符。

编码与解码

• 我们用编辑器打开的文本，看到的一个个字符，最终保存在磁盘上的时候都是以二进制字节序列形式存起来的。那么从字符到字节的转换过程就叫做编码（encode），反过来叫做解码（decode），两者是一个可逆的过程。编码是为了存储传输，解码是为了方便显示阅读。

编码规则

• 编码是人们定义的一种规则，使字符可以根据该规则，转换为对应的字节，方便存储和传输，也可以使字节转化成对应的字符用于显示、阅读。
• 例如，按照 ASCII 编码进行转换，字符 A 对应的字节为 0100 0001，占用 1 个字节的大小，一个字节也就是8位，可以表示 0 - 255，对于英文来讲 255 个字符已经足够显示所有的英文字符了，所以 ASCII（每个 字符占用一个字节） 编码是美国的标准编码
• 但是 ASCII 处理中文明显是不够的，中文不止 255 个汉字，所以中国制定了 GB2312 编码，用两个字节表示一个汉字。GB2312 还把 ASCII 包含进去了，同理，日文，韩文等等上百个国家为了解决这个问题就都发展了一套字节的编码，标准就越来越多，如果出现多种语言混合显示就一定会出现乱码
• 于是 unicode 出现了，将所有语言统一到一套编码里，每一个 unicode 字符占用两个字节的大小空间
• 乱码问题解决了，但是如果内容全是英文，unicode 编码比 ASCII 需要多一倍的存储空间，同时如果进行网络传输也需要传输多一倍的数据
• 所以出现了可变长的编码 "utf-8"，把英文变长一个字节，汉字 3 个字节。特别生僻的变成4-6字节，如果传输大量的英文，utf-8作用就很明显了。

encode() 和 decode()

• decode 英文意思为 解码，encode 英文意思为 编码
• decode 的作用是将其他编码转换成 unicode编码，例如 str1.decode('gbk')，表示将 gbk 编码的字符串 str1 转换成 unicode 编码
• encode 的作用是将 unicode 编码的字符串，转换成其他编码的字符串，例如str2.encode('gbk')，表示将 unicode 编码的字符串st2，转换为 gbk 编码
• 在 Python2 中，windows 简体中文平台下，字符串表示是 GBK 编码，在 Linux 平台下表示为 UTF8编码，可以在字符串定义时，修改字符编码格式，定义为 unicode 编码，例如 a = u'你好'
• 在 Python3中，所有系统平台下字符串都表示为 unicode 编码，
• 因此在编码转换时，通常需要以 unicode 作为中间编码，先将其他编码的字符串解码（decode）成 unicode，再从 unicode 编码（encode）成另一种指定编码。

UnicodeDecodeError 和 UnicodeEncodeError

环境：windows简体中文 + Python2.7，当前环境 str 默认显示编码为 gbk（Linux 环境中 Python2.7 默认显示编码为 utf8）

>>> a = '你'
>>> a
'\xc4\xe3'
# 对应 gbk 编码
>>> a.encode()
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc4 in position 0: ordinal not in range(128)
# 当 a.encode() 执行时，python 解释器发现 a 的编码格式为 GBK ，但是只有 unicode 编码才能进行 encode，所以系统帮我们执行了 a.decode().encode()
# 在 python2 中系统默认的 encoding 编码为 ascii，所以相当于 a.decode('ascii').encode('ascii')
# 查看系统默认 encoding 编码
>>> import sys
>>> sys.getdefaultencoding()
'ascii'
# 因 ascii 编码中不支持中文字符，所以在执行到 decode时就出现了报错 UnicodeDecodeError
# 可以将 a 解码为 unicode，再编码为 utf8格式
>>> a.decode('gbk')
u'\u4f60'
>>> a.decode('gbk').encode('utf8')
'\xe4\xbd\xa0'

#在 pyhton2 中定义 unicode 编码的字符串
>>> b
u'\u6211'
>>> b.encode()
UnicodeEncodeError: 'ascii' codec can't encode character u'\u6211' in position 0: ordinal not in range(128)
# 在 python2 中系统默认的 encoding 编码为 ascii，所以相当于执行了 a.encode('ascii')
# ascii 编码中不支持中文字符，所以出现了UnicodeEncodeError

# 可以把字符串b编码为 uft8 或者 gbk 格式，因为这两种编码都支持中文字符
>>> b.encode('utf8')
'\xe6\x88\x91'
>>> b.encode('gbk')
'\xce\xd2'

Python3 编码

在 Python3 中字符串统一使用 unicode编码，并且系统默认 encoding 为 utf8

• unicode 对内存操作友好，因为每一个字符占用的空间一样
• utf-8对存储和传输友好，因为会对应的减少占用空间的大小

>>> import sys
>>> print(sys.getdefaultencoding())
utf-8

>>> a = "你好"
>>> a.encode()
b'\xe4\xbd\xa0\xe5\xa5\xbd'

>>> a.encode().decode()
'你好'
>>> a.encode('gbk').decode('gbk')
'你好'