从字符集发展史看Unicode和UTF-8的区别

版权声明

本文并非本人原创，其内容来源于网络，本文根据其演绎而来，具体出出已经无法考证，在这里只好给出我所参考的连接。

知乎 https://www.zhihu.com/question/23374078/answer/69732605 于洋的回答

ASCII编码

我们都知道计算机来源于美国，并且计算机它比较笨，只知道 0 和 1 也就是电路的通和断(0或1即是一个二进制位)。那么美国人怎么使用计算机来存储他们的信息呢？他们想了一个办法。将8个二进制位视为一组--也就是一字节(8bit=1byte). 1byte能够标表示 256 个数字数据范围是 0-255。就这样每一个数字就人为地赋予一个意思，比如 10 就代表换行，41 就代表大写字母 A。而0-31 都是一些特殊的字符，这些字符在古老的时候用来控制终端(比如说打印机)的行为。而从32 - 127 就代表一些实意的字符。0 到 127 就正好能够将所有的英文的字符都囊括进来，所以美国人就可以很开心的使用计算机了。

计算机的不断发展

在后来，越来越多的国家都开始使用计算机了，但是有些国家可能有自己的语言并不是英语，那么现在现有的ASCII编码已经不适用了。那么怎么办呢？现有的ASCII编码还有将所有的位置都占满，所以非英语的国家都开始扩张ASCII编码的编码集，陆陆续续的将 127 之后的字符都渐渐地用上了。这时候计算机仍然在迅速地在全球蔓延。

迟到的中国

在中国引入了计算机时，ASCII编码0-255都已经被先来的国家给占据了，已经没有给中文留位置了。怎么办呢？那咱中国就搞自己的字符集。在一些大佬们的努力下想出了一个解决方案--扩展ASCII编码。废除了127之后的所有的后来添加的字符，保留原有的英文字符。并且扩展了原有的ASCII的编码规则，原来的ASCII编码规则是 1byte代表一个字符，但是这已经不适用咱们国家了，所以又加了一个byte，两个byte代表一个中文字符。那么如何判断二进制是一个中文字符还是一个英文字符呢？

新的编码规则是这样规定的(两个>127的byte标识一个汉字)，如果一个byte>127 那么就表明，这是一个中文字符的第一个字节(被称为高位字节)，那么一个高位字节和一个高位字节就代表一个中文字符；而如果一个byte的值<=127那么这一个byte就代表一个英文字符。

就这样我们的新的字符集已经形成了，它被称为 GB2313 ，其扩展了ASCII编码集，实现了汉字的存储，GB2312一个可以存储6000多个常用的中文字符了甚至还存储了一些数学符号和日本的片假字还有英文符号的具有高位字节的标识形式--也就是 全角字符 而原来的英文符号被称为 半角字符。

这也就是为什么我们常说: 一个汉字占两个字节，一个英文占一个字节。

GB2312不够用了

GB2313编码解决了中文字符输入的问题，但是只有6000多个常用字，那么就导致很多生僻字是没有在字符集里面的，