php 常用字符集

ASCII 字符集

　　单字节编码，7位（bits）表示一个字符，共128字符

包含内容

　　控制字符：回车键、退格、换行键等。

　　可显示字符：英文大小写字符、阿拉伯数字和西文符号

ANSI 码 
　　ANSI编码是一种对ASCII码的拓展，ASCII扩展字符集使用8位（bits）表示一个字符，共256字符。ASCII扩展字符集比ASCII字符集扩充出来的符号包括表格符号、计算符号、希腊字母和特殊的拉丁符号。

　　ANSI编码用0x00~0x7f 范围的1 个字节来表示 1 个英文字符，超出一个字节的 0x80~0xFFFF 范围来表示其他语言的其他字符。也就是说，ANSI码仅在前126个与ASCII码相同，之后的字符全是某个国家语言的所有字符。值得注意的是，两个字节最多可以存储的字符数目是2的16次方，即65536个字符，这对于一个语言的字符来说，绝对够了。还有ANSI编码其实包括很多编码：中国制定了GB2312编码，用来把中文编进去另外，日本把日文编到Shift_JIS里，韩国把韩文编到Euc-kr里，各国有各国的标准。受制于当时的条件，不同语言之间的ANSI码之间不能互相转换，这就会导致在多语言混合的文本中会有乱码。

CP936

CP936其实就是GBK，IBM在发明Code Page的时候将GBK放在第936页，所以叫CP936。

GB2312 字符集

　　GB2312又称为GB2312-80字符集，是中国国家标准的简体中文字符集，一共收录了7445个字符。

　　GB2312收录简化汉字及一般符号、序号、数字、拉丁字母、日文假名、希腊字母、俄文字母、汉语拼音符号、汉语注音字母，共 7445 个图形字符。其中包括6763个汉字，其中一级汉字3755个，二级汉字3008个；包括拉丁字母、希腊字母、日文平假名及片假名字母、俄语西里尔字母在内的682个全角字符。

　　GB2312中对所收汉字进行了“分区”处理，每区含有94个汉字/符号。这种表示方式也称为区位码。

　　各区包含的字符如下：01-09区为特殊符号；16-55区为一级汉字，按拼音排序；56-87区为二级汉字，按部首/笔画排序；10-15区及88-94区则未有编码。

　　两个字节中前面的字节为第一字节，后面的字节为第二字节。习惯上称第一字节为“高字节” ，而称第二字节为“低字节”。

　　“高位字节”使用了0xA1-0xF7(把01-87区的区号加上0xA0)，“低位字节”使用了0xA1-0xFE(把01-94加上0xA0)。

　　编码举例：以GB2312字符集的第一个汉字“啊”字为例，它的区号16，位号01，则区位码是1601，在大多数计算机程序中，高字节和低字节分别加0xA0得到程序的汉字处理编码0xB0A1。计算公式是：0xB0=0xA0+16, 0xA1=0xA0+1。

EUC-CN　

　　EUC-CN基于GB2312扩展得到，它所包含的字符集是GB2312所含的字符集＋ASCII字符集。它跟GB2312的不同之处主要有两点：
        1、GB2312是双字节编码，EUC-CN是变长字节编码
　　GB2312中每个字符都用双字节进行编码；EUC-CN中ASCII字符用单字节进行编码，相应的编码值跟ASCII中的值一致，其他字符用双字节进行编码。比如ASCII中的'A'字符，ASCII中对应的字节值为"0x41"，在EUC-CN中，'A'字符对应单字节，字节值也为"0x41"。
　　2、EUC-CN中字符的双字节编码值是对GB2312中相应字符的双字节编码值偏移得到具体的偏移规则是给每个字节值加上160。
　　在EUC-CN中，既包含有全角字符，又包含有半角字符(ASCII中的字符)，比如说既包含有“ＡＢＣＤＥＦＧＨＩＪＫＬＭＮＯＰＱＲＳＴＵＶＷＸＹＺ”，又包含有"ABCDEFGHIJKLMNOPQRSTUVWXYZ"。
每个字符可能用单字节表示，也可能用双字节表示。

GBK 字符集

　　GBK编码，是对GB2312编码的扩展，因此完全兼容GB2312-80标准。GBK编码依然采用双字节编码方案，其编码范围：8140－FEFE，剔除xx7F码位，共23940个码位，共收入 21886 个汉字和图形符号，其中汉字（包括部首和构件）21003 个，图形符号 883 个。

GB18030 字符集

　　GB 18030字符集标准解决汉字、日文假名、朝鲜语和中国少数民族文字组成的大字符集计算机编码问题。该标准的字符总编码空间超过150万个编码位，收录了27484个汉字，覆盖中文、日文、朝鲜语和中国少数民族文字。满足中国大陆、香港、台湾、日本和韩国等东亚地区信息交换多文种、大字量、多用途、统一编码格式的要求。并且与Unicode 3.0版本兼容，填补Unicode扩展字符字汇“统一汉字扩展A”的内容。并且与以前的国家字符编码标准（GB2312，GB13000.1）兼容。

　　GB 18030标准采用单字节、双字节和四字节三种方式对字符编码。

　　单字节部分使用0×00至0×7F码(对应于ASCII码的相应码)。

　　双字节部分，首字节码从0×81至0×FE，尾字节码位分别是0×40至0×7E和0×80至0×FE。

　　四字节部分采用GB/T 11383未采用的0×30到0×39作为对双字节编码扩充的后缀，这样扩充的四字节编码，其范围为0×81308130到0×FE39FE39。其中第一、三个字节编码码位均为0×81至0×FE，第二、四个字节编码码位均为0×30至0×39。

类别	码位范围	码位数	字符数	字符类型
双字节部分	第一字节0xB0-0xF7	6768	6763	汉字
	第二字节0xA1-0xFE
	第一字节0x81-0xA0	6080	6080	汉字
	第二字节0x40-0xFE
	第一字节0xAA-0xFE	8160	8160	汉字
	第二字节0x40-0xA0
四字节部分	第一字节0x81-0x82	25200	6530	CJK统一汉字扩充A
	第二字节0x30-0x39
	第三字节0x81-0xFE
	第四字节0x30-0x39

　　

     27533就是6763+6080+8160+6530。双字节部分的6763+6080+8160=21003个汉字就是GBK的21003个汉字。

 

Unicode字符集

　　Unicode是一种在计算机上使用的字符编码。它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。

　　Unicode 标准始终使用十六进制数字，而且在书写时在前面加上前缀“U+”。

UTF-8 编码

　　UTF-8是Unicode的其中一个使用方式。 UTF是 Unicode Translation Format，即把Unicode转做某种格式的意思。UTF8的BOM头为 0xEF 0xBB 0xBF。

　　UTF-8便于不同的计算机之间使用网络传输不同语言和编码的文字，使得双字节的Unicode能够在现存的处理单字节的系统上正确传输。

　　UTF-8使用可变长度字节来储存 Unicode字符，例如ASCII字母继续使用1字节储存，重音文字、希腊字母或西里尔字母等使用2字节来储存，而常用的汉字就要使用3字节。辅助平面字符则使用4字节。

　　UTF-8以字节为单位对Unicode进行编码。从Unicode到UTF-8的编码方式如下：

 

Unicode编码(十六进制)	UTF-8 字节流(二进制)
000000-00007F	0xxxxxxx
000080-0007FF	110xxxxx 10xxxxxx
000800-00FFFF	1110xxxx 10xxxxxx 10xxxxxx
010000-10FFFF	11110xxx10xxxxxx10xxxxxx10xxxxxx

 

　　UTF-8的特点是对不同范围的字符使用不同长度的编码。对于0x00-0x7F之间的字符，UTF-8编码与ASCII编码完全相同。UTF-8编码的最大长度是4个字节。从上表可以看出，6字节模板有21个x，即可以容纳21位二进制数字。Unicode的最大码位0x10FFFF 也只有21位。

　　例1：“汉”字的Unicode编码是0x6C49。0x6C49在0x0800-0xFFFF之间，使用用3字节模板了：1110xxxx 10xxxxxx 10xxxxxx。将0x6C49写成二进制是：0110 1100 0100 1001， 用这个比特流依次代替模板中的x，得到：11100110 10110001 10001001，即E6 B1 89。

　　例2：Unicode编码0x20C30在0x010000-0x1FFFFF之间，使用用4字节模板了：11110xxx 10xxxxxx 10xxxxxx 10xxxxxx。将0x20C30写成21位二进制数字（不足21位就在前面补0）：0 0010 0000 1100 0011 0000，用这个比特流依次代替模板中的x，得到：11110000 10100000 10110000 10110000，即F0 A0 B0 B0。

 

UTF-16 和 UTF-32 编码

　   UTF-16编码以16位无符号整数为单位。Unicode的最大码位是0x10FFFF，减去0x10000后，U'的最大值是0xFFFFF，所以用20个二进制位表示。

　　UTF-32编码以32位无符号整数为单位。Unicode的UTF-32编码就是其对应的32位无符号整数。

　　UTF-32、UTF-16 和 UTF-8 是 Unicode 标准的编码字符集的字符编码方案，UTF-16 使用一个或两个未分配的 16 位代码单元的序列对 Unicode 代码点进行编码；UTF-32 即将每一个 Unicode 代码点表示为相同值的 32 位整数。