python与unicode

Unicode是一种在计算机上使用的字符编码，是为了解决传统的字符编码方案的局限而产生的，它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。

Unicode是国际组织制定的可以容纳世界上所有文字和符号的字符编码方案。Unicode用数字0-0x10FFFF来映射这些字符，最多可以容纳1114112个字符，或者说有1114112个码位。码位就是可以分配给字符的数字。UTF-8、UTF-16、UTF-32都是将数字转换到程序数据的编码方案。

　  Python里面默认所有字面上的字符串都用ASCII编码，可以通过在字符串前面加一个'u’ 前缀的方式声明Unicode字符串，这个'u' 前缀告诉Python后面的字符串要编成Unicode字符串。目前学习多用一些unicode字符串的encode()和decode()。下面举一个简单例子：

查看某些字词的Unicode:

　　　　Ustr=(u'世界', 'gb2312')

　　    print Ustr

写文件时，可将Unicode格式的Ustr用utf-8编码，再写入文件：

　　FILE = 'test.txt'

　　  data = Ustr.encode('utf-8')

　　   f = open(FILE,'w')

　　   f.write(data)

　　f.close()

简单的讲，Hstr='世界'，需要解码，Hstr.decode('cp936')；Ustr=u'世界'，需要编码，Ustr.encode('utf-8')。