为什么要加上2020H和8080H?

区位码、内码、国标码怎么转换非常简单,但是令人迷惑的是为什么要那么转换?这种转换不可能平白无故地那样转换!

我搜索很多资料,找到最好的解释,总结如下:

首先,注意到一点,GB2312虽说是对中文编码,但是里面有对26个英文字母和一些特殊符号的编码,按理说这和ASCII重合的部分应该无需设置,沿用ASCII中不就行了?但是当时在制定GB2312之前,就决定覆盖掉ASCII中符号和英文字母部分,所以将其中的英文字母和符号重新编入GB2312中。而对于ASCII中前32个控制字符则继续沿用。所以保留前32字符,就需要将汉字编码向后偏移32,十六进制20H,这也就是区位码要加上20H得到国标码,这就是GB2312的编码规范。

而这样产生一个弊端,某些早期用ASCII码编码的英文文章无法打开,一打开就是乱码,也就是说应该要兼容早期ASCII码而不是覆盖它!为了解决这个问题,将字节的最高位设为1,因为ASCII中使用7位,最高位为0。这样就区分开了ASCII和GB2312。这也是为什么要加上8080H。 其实我们说国标码才是GB2312的规范编码,后来的内码是微软为了解决冲突问题而采用的方式,本质上是修改了GB2312的编码标准,而这种方法最后产生的编码最后就被一些教科书称为内码

扩展

你需要先了解汉字的输入、存储、交换与显示过程:外码→内码→交换码→字形码。
外码:又称输入码,我们平常用的拼音输入和五笔输入法所敲打的字母。
内码:计算机存储信息是二进制的,输入的汉字要转化成二进制的形式,它们的集合就叫字符集。
交换码:又称国标码,是和别的计算机交换信息时使用的编码。
字形码:又称汉字字模,把二进制的汉字编码还原为可视的图形,它们的集合又叫字库。
下面说英文与汉字处理的区别:
1、外码
      英文的字母只有26个,可以直接用键盘表示,直接通过译码电路转换为内码,但有些国家的拼音字母不止26个,要么制作一个特殊的键盘,要么和汉字那样的输入一串符号来表示一个字符,这一串符号就叫输入码。
 
2、内码
      先说拼音字母,同样的理由,英文字母只有26个,加上大小写的区别,数字,标点,再加上一些特殊符号,如空白、回车等,很容易构成一个有128个字符的单字节存储的ASCII字符集,这个是美国的标准,还有IBM自己的标准EBDIC字符集,这样同一个二进制数还原成字符就至少有两种可能,比如二进制数01001110,在ASCII中代表大写字母N,在EBCDIC中却是加号+。
       ASCII编码在运用中是以字节(8位)来处理的,实际上用7位二进制数就可以表示出128个符号,最高位都是以0填充的,但是只用掉7位来表示不是浪费么?比如有些国家不止26个字母,需要增加。货币符号也不一样,比如英镑£。最高位是1的话,一个字节就可以再表示128个符号,总计256个符号。然后就有不同的计算机厂商扩展了ASCII,这个扩展的字符集就没有统一的标准了,这样就会带来一个问题,在第128个基础字符之后的字符,同样的二进制代码,怎么还原成正确的字符?
      汉字有好几万个,单字节可编不完,但常用的就那么几千个,所以最初就有GB2312这个双字节存储的字符集,理论上可以存储16384(128*128)个字符,但后来计算机存储容量增加了,不用吝啬那点存储空间,就扩展了字符集,把繁体字啊,少数民族的字啊都加进去,形成了1~4个字节表示的GB18030字符集。港澳台还有自己的繁体字字符集,如Big5。这同样造成了识别问题。
 
     这三个问题的解决方法是内码表,又称代码页(Code Page),给不同国家的语言加个编码来区分,如37是IBM EBCDIC(US-Canada),936是简体中文GBK,950是繁体中文Big5,1253是希腊文。这个东西可以在Windows XP的“控制面板→区域和语言选项→高级”中查看。过去玩繁体中文版的游戏,直接打开就是乱码,最直接的解决方法就是换成繁体版的操作系统来玩,但更多的时候我们是用内码转换器使游戏正常显示,比如微软官方的Microsoft AppLocale Utility软件。
 
补充说明:
         GB2312没有使用全部的128×128=16384个字符,实际只有94×94=8836个字符可用最终用到了7445个。
3、交换码
        GB2312-80的全称是《中华人民共和国 国家标准 信息交换用汉字编码字符集 基本集》,本标准规定了汉字信息交换用的基本图形字符及其二进制编码表示。它适用于一般汉字处理、汉字通信等系统之间的信息交换。它把图形字符的代码表分为94个区,每个区有94位。区的编号从1~94,由第一字节标识;位的编号也是从1~94,由第二字节标识。例如汉字“啊”用16—01表示(十进制,16进制:10H,01H),这个编码称为区位码,二进制表示为00010000 00000001。
        前面讲了ASCII和GB2312两个字符集,其中GB2312为了兼容ASCII也是使用两个字节中的低7位来编码,这样会在传输时出现一个问题,ASCII从00000000到00011111这前32个字符是控制符,比如00000100是在ASCII中是控制符EOT,意思是传输结束,而在GB2312的区位码中只是表示区号04或者位号04,传输中可是没有代码页来识别你是ASCII还是GB2312,所以为了不发生冲突,在进行信息交换时在区号和位号上都加32这样就防止了冲突,加上了32以后的编码就称为交换码。还是用汉字“啊”举例,区号16+32=48,二进制为00110000,位号01+32=33,二进制为00100001,合起来“啊”的交换码就是00110000 00100001。
       上面讲内码时说到个识别问题,单独的英文或者中文都好解决,但如果是一篇使用半角输入的中英混合的文章怎么办?比如刚刚所举的例子,交换码00110000 00100001除了可以表示汉字“啊”,也可以表示为ASCII字符中的“0”和“!”。计算机如何识别哪个字节该用ASCII,哪个字节该用GB2312呢?所以为了以示区分,在GB2312空着的最高位置1,于是“啊”的交换码就变为了内码10110000 10100001,换成十六进制就是B0 A1,大家可以找份GB2312的内码对照表来看看是不是这样。
补充说明:
      半角和全角输入的拼音字母的二进制码是不一样的,比如半角输入的字母A,二进制码是01000001,十六进制是41,这是按ASCII字符集编码的,而全角输入的字母A,二进制编码是10100011 11000001,十六进制是A3 C1,这是按GB2312字符集编码的。
 
4、字形码
这个举个例子就明白了,比如“口”字,画成8×8的点阵图就是:
00000000
01111110
01000010
01000010
01000010
01000010
01111110
00000000
这样一个“口”字需要8个字节来存储。当然这只是其中一种最简单的表示方法,常用的还有16×16、24×24和32×32等点阵字形编码。而且同一个字还有不同字体的写法,如宋体、隶书和黑体等。同一种字体除了用点阵表示,还可以用矢量来表示,比如Windows中使用的TrueType字体。

GB2312编码(为什么要加2020H、8080H,外码→内码→交换码→字形码)的更多相关文章

  1. 做网站用UTF-8编码还是GB2312编码?

    经常我们打开外国网站的时候出现乱码,又或者打开很多非英语的外国网站的时候,显示的都是口口口口口的字符, WordPress程序是用的UTF-8,很多cms用的是GB2312. 经常我们打开外国网站的时 ...

  2. Asp.net把UTF-8编码转换为GB2312编码

    系统采用的UTF-8编码,而一些支持系统使用的是GB2312编码. 不同编码的页面.脚本之间互相引用,就会产生乱码的问题,解决方法就是统一成一种编码.asp.net 中,如果要修改输出页面的编码,可以 ...

  3. ASP中Utf-8与Gb2312编码转换乱码问题的解决方法 页面编码声明

    ASP程序在同一个站点中,如果有UTF-8编码的程序,又有GB2312编码的程序时,在浏览UTF-8编码的页面后,再浏览当前网站GB2312的页面,GB2312编码的页面就会出现乱码 出现这样的问题是 ...

  4. GB2312 编码

    GB2312编码范围:A1A1-FEFE,其中汉字编码范围:B0A1-F7FE. GB2312编码是第一个汉字编码国家标准,由中国国家标准总局1980年发布,1981年5月1日开始使用.GB2312编 ...

  5. vim 如何编辑 GB2312 编码的文件?

    vim 如何编辑 GB2312 编码的文件? 彻底搞清楚字符编码: ASCII, ISO_8859, GB2312,UCS, Unicode, U 结合file和iconv命令转换文件的字符编码类型 ...

  6. Unicode gbk gb2312 编码问题 [转载]

    原文地址: http://www.cnblogs.com/csn0721/archive/2013/01/24/2875613.html HTML5 UTF-8 中文乱码   <!DOCTYPE ...

  7. JS:中文GB2312编码

    今天开发遇到了个问题,有点纳闷.... 在ajax的时候要传递一个中文值,不管我在js中是否使用了encodeURI.encodeURIComponent编码,但是在后台request获取的值是始终是 ...

  8. gb2312编码提交url乱码解决

    gb2312编码提交url,服务器接收时出现乱码,用System.Web.HttpUtility.UrlDecode();解码 ,还是出现乱码,困老了我好长时间,终于在google上找到了解决办法. ...

  9. Linux下将UTF8编码批量转换成GB2312编码的方法

    Linux下将UTF8编码批量转换成GB2312编码的方法 在sqlplus中导入UTF8编码的sql脚本就会出现乱码错误,这时就需要将UTF8编码转换成GB2312编码,下面为大家介绍下在Linux ...

随机推荐

  1. Ubuntu 12.04 安装最新版本NodeJS

    昨天搭建了一个Windows NodeJS 运行环境,但Windows 运行NodeJS命令行各种别扭,开源包的编译也是各种问题,折磨了我一天一夜,果断换到Linux 平台.. 我选择了Ubuntu ...

  2. DevExpress GridControl使用教程:之 添加 checkbox 复选框

    添加一列,FieldName为"FLAG",将ColumnEdit设置为复选框样式. gridview1   =>optionsbehavior =>  editabl ...

  3. sql数据库 大小查询

    select * from sys.master_files where name='CODA_PRD_Catalog' 12416*8/1024=(m)

  4. asp.net mvc全局异常捕获

    通过重写OnException方法形式实现. 1.自定义异常记录类并继承HandleErrorAttribute类. public class HandlerErrorAttribute : Hand ...

  5. Android 文件读写高级

    往设备里写文件有几种选择,写在内存中,或SD卡中. 往内存里写好处是,可以写在 data/data/包名 文件夹里,而此文件是不可访问的(除非 root).这样可以增加文件的安全性,避免被误删.缺点也 ...

  6. ASP.NET Core使用Ping判断网络是否接通

    static void Main(string[] args) { // 主机地址 string targetHost = "bing.com"; string data = &q ...

  7. Prufer codes与Generalized Cayley's Formula学习笔记

    \(Prufer\)序列 在一棵\(n\)个点带标号无根树里,我们定义这棵树的\(Prufer\)序列为执行以下操作后得到的序列 1.若当前树中只剩下两个节点,退出,否则执行\(2\) 2.令\(u\ ...

  8. 为服务器设置固定IP地址

    为服务器设置固定IP地址 1.获取超级管理员权限 命令:$ su - 输入root密码 2.判断哪个网卡有流量,或者确定需要设置哪个网卡的固定ip 命令:# ifconfig PS:可以查询哪些网卡有 ...

  9. sql注入原理详解(一)

    我们围绕以下几个方面来看这个问题: 1.什么是sql注入? 2.为什么要sql注入? 3.怎样sql注入? 1.什么是sql注入? 所谓SQL注入,就是通过把SQL命令插入到Web表单递交或输入域名或 ...

  10. VS 2010 LINK : fatal error LNK1123: 转换到 COFF 期间失败: 文件无效或损坏

    终极解决方案:VS2010在经历一些更新后,建立Win32 Console Project时会出“error LNK1123” 错误,解决方案为将 项目|项目属性|配置属性|清单工具|输入和输出|嵌入 ...