python之路-python字符编码

编码的发展

py2的字符编码

py3的字符编码

编码的发展:

　　编码表：编码是信息从一种形式或格式转换为另一种形式的过程也称为计算机编程语言的代码简称编码。编码表记录着我们常见的明文所对应的计算机二进制的值。计算机显示的明文内容都通过编码表转换为对应的二进制存储在磁盘，内存中。

　　编码格式：

ASCII（American Standard Code for Information Interchange，美国标准信息交换代码）是基于拉丁字母的一套电脑编码系统，主要用于显示现代英语和其他西欧语言，其最多只能用 8 位来表示（一个字节），即：2**8 = 256-1，所以，ASCII码最多只能表示 255 个符号。由于ascii码能表示符合的数量太少，无法表示完全部中午。为了处理汉字，程序员在ASCII上设置了中文的扩展表。发展如下：

GB2312(1980年):一共收录了7445个字符，包括6763个汉字和682个其它符号。

GBK1.0(1995年):收录了21886个符号，它分为汉字区和图形符号区。汉字区包括21003个字符。(windows 简体中文默认使用GBK编码表)

GB18030(2000年):正式国家标准。该标准收录了27484个汉字，同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字。现在的PC平台必须支持GB18030，对嵌入式产品暂不作要求。

     使用ASCII码表，英文占用一个字节的空间大小，中文占用两个字节的空间大小。

Unicode

由于ASCII码无法将世界上的各种文字和符号全部表示，所以，就需要新出一种可以代表所有字符和符号的编码，即：Unicode

Unicode（统一码、万国码、单一码）是一种在计算机上使用的字符编码。它经历了了以下三个阶段的发展:

utf-32:(全部文字都占用了四个字节

utf-16:全部文字占用了两个字节

utf-8(可变长编码)：不再像之前的utf-32,utf-16占用固定的字节，而是根据使用不同的语言来决定占用的空间大小。英文占用1个字节，中文占用三个字节。

　　编码间的转换：

　　

　　如图,编码间的转换，都需要经过unicode。例如GBK转UTF-8，需要先将GBK解码为Unicode，再将Unicode编码为UTF-8。在使用py2,py3进行操作时,默认内存使用unicode编码格式，py2硬盘存储则使用ASCII编码格式,py3硬盘存储则使用utf-8编码格式

py2的字符编码　

　　在py2中,str=bytes，Unicode=Unicode的字符编码。如下图。所以对字符串进行操作时，需要注意它的编码格式。需要对字符串进行合适的编码和解码才可以。默认字符串类型是以ACSII码的编码方式，保存在内存和磁盘上，故在py2中使用中文，需要在头两行声明编码方式。下面是两种声明方式:　

　　　　1.  #! _*_coding:encoding name _*_

　　　　2.   #coding=encoding name

　　　　在py2中，读取GBK类型的字符串,需要将其解码为unicode，解释器会根据你界面的编码自动转换为对应的编码格式。

　　　　

py3的字符编码

　　py3在字符编码方面做了优化,str=unicode,bytes=bytes。py3将字符类型和bytes类型进行了区分。由于py解释器会自动将Unicode类型的数据转换为你输出界面的编码格式,所以使用py3时,无需过多的关注字符的编码格式。py3默认是用utf-8进行编码和解码的，所以py3在操作其他编码格式的文件时，需要声明下文件的编码类型，使用对应的类型来进行解码。