python2.7编码与解码

常见的编码
　　ASCII: 美国人发明的，只编码英文字母和符号，1个字节。
　　GB2312: 中国人发明的，增加了中文汉字和符号，2个字节。
　　Unicode: 为了把所有语言都统一到一套编码里，一般是2个字节，生僻字4个字节。
　　UTF-8： 为了节省英文字符内存空间，UTF-8可变长编码，常用的英文字母被编码成1个字节，汉字通常是3个字节，生僻的字符编码成4-6个字节。

 >>> S = '中文'
 >>> print type(S), len(S)
 <type 'str'> 4

 >>> unicodeS = u'中文'
 >>> print type(unicodeS), len(unicodeS)
 <type 'unicode'> 2

 >>> utfS = u'中文'.encode('utf-8')
 >>> print type(utfS), len(utfS)
 <type 'str'> 6

　　在计算机内存中，统一使用Unicode编码，当需要保存到硬盘或者需要传输的时候，就转换为UTF-8编码，这样可以节省很多存储空间。

　　 其中，python2和python3系统默认编码分别是ascii和utf-8，以python2.7为例：

 >>> import sys
 >>> sys.getdefaultencoding()
 'ascii'

 >>> a = 'hello'
 >>> print type(a)
 <type 'str'>
 >>> b = a.decode('ascii')
 >>> print type(b)
 <type 'unicode'>
 >>> c = a.decode('ascii').encode('utf-8')
 >>> print type(c)
 <type 'str'>

　　然而python2.7中，比较麻烦的还是有两种数据模型来支持字符串这种数据类型，str和unicode（python3改进后只有unicode一种)，比如s = '中文'就是str类型的字符串，而u=u"中文"就是一个unicode类型的字符串。unicode是由str类型的字符串解码后得到，unicode也可以编码成str类型。即

　　str --> decode -->unicode
　　unicode --> encode --> str

　　在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。
　　注：Unicode 格式：像\u0000;二进制编码 格式：像\x00\x00，其中utf-8,gbk就是二进制编码;

 >>> s1 = u'中文'
 >>> type(s1)
 <type 'unicode'>
 >>> s2 = 'ABC'
 >>> type(s2)
 <type 'str'>

 #字符串转码成unicode对象
 >>> u'ABC'
 u'ABC'
 >>> u'中文'
 u'\u4e2d\u6587'

 #英文字符串编码成utf8格式
 >>> 'ABC'.encode('utf-8')
 'ABC'
 >>> u'ABC'.encode('utf-8')
 'ABC'

 #中文字符串需先转码成unicode,再编码成utf8格式
 >>> '中文'.encode('utf-8')

 Traceback (most recent call last):
   File "<pyshell#15>", line 1, in <module>
     '中文'.encode('utf-8')
 UnicodeDecodeError: 'utf8' codec can't decode byte 0xd6 in position 0: invalid continuation byte

 >>> u'中文'.encode('utf-8')
 '\xe4\xb8\xad\xe6\x96\x87'
 >>> u'\u4e2d\u6587'.encode('utf-8')
 '\xe4\xb8\xad\xe6\x96\x87'

 #字符串从utf8格式解码成unicode
 >>> 'ABC'.decode('utf-8')
 u'ABC'
 >>> '\xe4\xb8\xad\xe6\x96\x87'.decode('utf-8')
 u'\u4e2d\u6587'
 >>> print '\xe4\xb8\xad\xe6\x96\x87'.decode('utf-8')
 中文

　　编码检验和转换

 #检查编码
 >>> import urllib
 >>> rawdata = urllib.urlopen('http://www.google.cn/').read()
 >>> import chardet
 >>> chardet.detect(rawdata)
 {'confidence': 0.99, 'encoding': 'utf-8'}

 #将String对象从UTF-8内码转换为gbk,相反则s.decode('gbk').encode('utf-8')
 >>> rawdata.decode('utf-8').encode('gbk')

 #以unicode为中介实现编码或解码
 >>> u'中文'.encode('gbk')
 '\xd6\xd0\xce\xc4'
 >>> u'中文'.encode('utf-8')
 '\xe4\xb8\xad\xe6\x96\x87'
 >>> '\xd6\xd0\xce\xc4'.decode('gbk')
 u'\u4e2d\u6587'
 >>> print u'\u4e2d\u6587'
 中文
 >>> '\xe4\xb8\xad\xe6\x96\x87'.decode('utf-8')
 u'\u4e2d\u6587'
 >>> print u'\u4e2d\u6587'
 中文

其中，decode的函数原型是 decode([encoding], [errors='strict'])，可以用第二个参数控制错误处理的策略。

　  默认的参数就是strict，代表遇到非法字符时抛出异常；
     如果设置为ignore，则会忽略非法字符；
     如果设置为replace，则会用?取代非法字符；

读写文件编码

　　以test.txt文件为例，文件内容为“测试”。

 >>> #coding=utf-8
 >>> f = open("test.txt")
 >>> s = f.read()
 >>> print type(s)
 <type 'str'>
 >>> s
 '\xb2\xe2\xca\xd4'
 >>> u = s.decode("gbk")
 >>> u
 u'\u6d4b\u8bd5'
 >>> f.write(u.encode("utf-8"))
 >>> print u
 测试