Unicode和UTF-8的关系

Unicode和UTF-8都是表示编码，这个我一直都知道，但是这两个实际上是干什么用的，到底是怎么编码的，为什么有了Unicode还要UTF-8，它们之间有什么联系又有什么区别呢？这个问题一直困扰着我。相信不少人也会有这样的疑问。如果没有彻底弄清楚它们的关系，可能在开发的时候经常会被编码问题困扰。所以接下来就讲讲我通过查阅资料以及编码实践后得到的结论。

由于计算机一开始只在美国使用，他们的字符集只有大小写英文字母，阿拉伯数字，一些标点符号以及一些控制字符，总数只有一百多个。一个字节有八位，一共可以表示256种状态，所以，用一个字节表示这些字符足矣。于是就有了ANSI（American Standard Code for Information Interchange，美国信息互换标准代码）。

但是，当我们中国人也开始用计算机的时候，问题就暴露出来了-这么多的中文字符该怎么表示？

一个字节明显表示不了，两个字节是可以的，于是我们开始制定我们自己的编码规则以在计算机中正确的表示中文字符。于是就有了gb2312，它用两个字节来编码字符，为了使英文字符也能正确显示，我们规定低八位和ANSI是相同的，然后第一个字节的首位为1表示这是个中文字符。

不过不久之后又发现，还是有很多汉字在gb2312没有编码，一些复杂的汉字仍然表示不出来，于是就对它进行扩展，就有了gbk编码，gbk包含了gb2312的所有字符，同时增加了近20000个新字。后来少数名族也开始用电脑了，再次进行扩展，于是出现了gb18030。

　　再接着，因为各个国家都要表示各自的文字，都像中国这样用自己的编码的话。各国之间的编码不能互相兼容，这样就带来了很多问题。为了解决这个问题，一个叫国际标准化组织（ISO）就站出来制定了一套地球上通用的字符集，名字叫做"Universal Multiple-Octet Coded Character Set"，简称UCS，俗称Unicode。Unicode就是这样来的。

　　Unicode规定必须用两个字节来表示一个字符，也就是16位来统一表示。对于ASCII里的那些“半角”字符，unicode包持其原编码不变，只是将其长度由原 来的8位扩展为16位，而其他文化和语言的字符则全部重新统一编码。由于”半角”英文符号只需要用到低8位，所以其高8位永远是0，因此Unicode在保存英文字符时，会浪费一半的空间。因为这个问题，导致Unicode一直无法得到推广。

　　直到后来互联网的出现，为了解决Unicode字符在互联网上传输的问题，于是UTF（UCS Transfer Format）出现了。可以说UTF不是一种新的类似GBK那种编码到字符的映射规则，而是用来规定Unicode传输存储的规则。同时出现了UTF 8,UTF 16, UTF 32。下面我们就重点讲讲最广泛的UTF 8到底是干嘛的。

　　首先说UTF 8的结构。UTF 8是变长的，它表示英文字符集时只用一个字节，表示其它字符比如中文时用3-4个字节。举个例子，中文字符 "日"，它在Unicode编码表里面的值为0x65E5，写成二进制就是

Unicode：01100101 11100101

UTF 8规定当字符占的位数为n，n > 1时，最高位的字节的最高n位为1，第n+1位为0，然后后面的字节的前两位都是10.然后剩余的位用Unicode值来填充，高位补0。格式就是下面这样：

一个字节: 0xxxxxxx

两个字节: 110xxxxx 10xxxxxx

三个字节: 1110xxxx 10xxxxxx 10xxxxxx

四个字节: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

因为日字需要用三个字节来表示，所以把日的Unicode（0x65E5）填充进去就是:

11100110 10010111 10100101

然后小写a，ANSI编码是97，Unicode编码也是97，所以a用utf8表示时二进制就是这样:

01100001

　　UTF-8的工作原理，Unicode和UTF8的关系是不是瞬间就清楚了呢。

　　然而，为什么UTF8这么强大的同时，我们自己的GBK编码为什么还是一直在使用呢？很显然，GBK表示一个中文字符只要2个字节，而UTF8需要3到4个字节，浪费了这么多空间，所以当已经明确没有其它国家的字符时，我们用GBK就好了。但随着现在网络资源和存储资源越来越宽裕，浪费这点空间已经慢慢变的无所谓了，所以UTF8会越来越流行。