字符编码笔记:ASCII,Unicode 和 UTF-8(理解)
- 1、ASCII 码
- 美国制定的字符编码规则,对英语字符与二进制位之间的关系做了统一规定。
- 占一个字节,8 位,最多可表示 2^8 = 256 种状态(字符)
- 实际共有 128 个字符,只占用一个字节的后面 7 位。首位统一规定为 0。
- 2、非 ASCII 编码
- 其他国家各自制定的编码规则。映射本国字符和二进制之间的关系。
- 适合本国字符数在256以内的国家。
- 其他国家(字符数 > 256),则有自己的编码规则。比如中文的:GB2312
- 其他国家各自制定的编码规则。映射本国字符和二进制之间的关系。
- 3、Unicode
- 容纳世界上所有符号的符号集。每个符号都有自己的二进制代码。
- 只是一个符号集,只规定了符号的二进制代码,却没有规定这个二进制代码应该如何存储。
- 比如:英文字符全部可用 1 个字节表示,但是汉字可能需要 2 或 3 个字节。一种编码格式全部都用2个或者3个字节表示会有浪费。所以该如何存储呢?
- 4、UTF-8
- 1、概念:
- 互联网上使用最广的一种 Unicode 的实现方式。(Unicode 也有其他实现方式)
- 2、特点:
- 变长的编码方式。它可以使用 1~4 个字节表示一个符号,根据不同的符号而变化字节长度。
- 3、编码规则:
- 1)对于单字节的符号,字节的第一位设为 0,后面 7 位为这个符号的 Unicode 码。
- 因此对于英语字母,UTF-8 编码和 ASCII 码是相同的。
- 2)对于 n 字节的符号(n > 1),第一个字节的前 n 位都设为 1,第 n + 1 位设为 0,后面字节的前两位一律设为 10。
- 剩下的没有提及的二进制位,全部为这个符号的 Unicode 码。
- 1)对于单字节的符号,字节的第一位设为 0,后面 7 位为这个符号的 Unicode 码。
- 4、Unicode 和 UTF-8的对应关系()
- 4.1 关系图:
- 图:
- 说明:
- 总感觉这个图不理解,不过还是做一些解读和说明吧。
- 第一行:
- 字符最多占7位(0-7位)
- 所以:Unicode 符号范围:0(十六进制:0)-111 1111(十六进制:7F)
- 第二行:
- 字符最多占11位(8-11位)
- Unicode 符号范围:1000 0000(十六进制:80)-111 1111 1111(十六进制:7FF)
- 第三行:
- 字符最多占16位(12-16位)
- Unicode 符号范围:1000 0000 0000(十六进制:800)-111 1111 1111(十六进制:7FF)
- 第四行:
- 字符最多占21位
- Unicode 符号范围:同上
- 4.2 转换:
- Unicode 和 UTF-8都用16位表示,需要从中提取出来具体的值,然后转换。
- Unicode 到 UTF-8 的转换
- 根据Unicode 的值,确定其符号范围对应的 UTF-8 是多少位。然后,高位补0填充。
- UTF-8 提取 Unicode
- 看其是多少位,提取相关的 Unicode 值。
- 4.1 关系图:
- 1、概念:
- 5、编码存储方式:Little endian 和 Big endian
- 5.1 概念理解
- 以汉字严为例,Unicode 码是 4E25,需要用两个字节存储,一个字节是 4E,另一个字节是 25。
- 存储时,4E 在前,25 在后,这就是 Big endian 方式;
- 25 在前,4E 在后,这是 Little endian 方式。
- 即:一般文本都是从左往右的格式。
- 如果编码从左往右存:是 Big endian 方式(高位在前,FE FF 表示)
- 如果编码从右往左存:是 Little endian 方式(高位在后,FF FE 表示)
- 以汉字严为例,Unicode 码是 4E25,需要用两个字节存储,一个字节是 4E,另一个字节是 25。
- 5.2 区分:
- Unicode 规范定义,每个文件的最前面分别加入一个表示编码顺序的字符,这个字符的名字叫做 "零宽度非换行空格"(zero width no-break space),用 FEFF 表示。这正好是两个字节,而且 FF 比 FE 大 1。
- 如果一个文本文件的头两个字节是 FE FF,就表示该文件采用大头方式(左小右大);
- 如果头两个字节是 FF FE,就表示该文件采用小头方式(左大右小)。
- 5.1 概念理解
- 6、参考:
- 字符编码笔记:ASCII,Unicode 和 UTF-8 - 阮一峰的网络日志 http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html
字符编码笔记:ASCII,Unicode 和 UTF-8(理解)的更多相关文章
- 理解记忆三种常见字符编码:ASCII, Unicode,UTF-8
理解什么是字符编码? 计算机只能处理数字,如果要处理文本,就必须先把文本转换为数字才能处理.最早的计算机在设计时采用8个比特(bit)作为一个字节(byte),所以,一个字节能表示的最大的整数就是25 ...
- 字符编码:ASCII,Unicode,UTF-8
1.ASCII码美国制定的一套字符编码,对英语字符和二进制位之间的关系,做了统一规定.ASCII码一共规定了128个字符(包括32个不能打印出来的控制符号)的编码,占用一个字节,字节的最前面1位统一为 ...
- (转)字符编码笔记:ASCII,Unicode和UTF-8
字符编码笔记:ASCII,Unicode和UTF-8 访问地址:http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html
- 字符编码笔记:ASCII,Unicode和UT…
字符编码笔记:ASCII,Unicode和UTF-8 今天中午,我突然想搞清楚Unicode和UTF-8之间的关系,于是就开始在网上查资料. 结果,这个问题比我想象的复杂,从午饭后一直看到晚上9点,才 ...
- 字符编码笔记:ASCII,Unicode和UTF-8(转)
字符编码笔记:ASCII,Unicode和UTF-8 作者: 阮一峰 日期: 2007年10月28日 今天中午,我突然想搞清楚Unicode和UTF-8之间的关系,于是就开始在网上查资料. 结果,这个 ...
- [转帖]字符编码笔记:ASCII,Unicode 和 UTF-8
字符编码笔记:ASCII,Unicode 和 UTF-8 http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html 转帖 ...
- 【转载】字符编码笔记:ASCII,Unicode和UTF-8
字符编码笔记:ASCII,Unicode和UTF-8 作者: 阮一峰 今天中午,我突然想搞清楚Unicode和UTF-8之间的关系,于是就开始在网上查资料. 结果,这个问题比我想象的复杂,从午饭后一直 ...
- 关于字符编码:ascii、unicode与utf-8
转自:https://foofish.net/unicode_utf-8.html 阮一峰老师对普及计算机基础技术功不可没,但毕竟老师不是神,因此也避免不了对某些概念有一些错误的理解,<字符编码 ...
- 中文乱码之《字符编码:ASCII,Unicode 和 UTF-8》
参考文献:字符编码笔记:ASCII,Unicode 和 UTF-8 一.ASCII 码 我们知道,计算机内部,所有信息最终都是一个二进制值.每一个二进制位(bit)有0和1两种状态,因此八个二进制位就 ...
随机推荐
- stm32如何核对flash大小和sram大小
以stm32f103zet6为例,直接上图:
- 后端数据中含有html标签和css样式,前端如何转译展示样式效果。
后端含有html标签和css样式的数据: domain="<span style='color:red'>www.baidu.com</span>" (vu ...
- [Assign the task][dfs序+线段树]
http://acm.hdu.edu.cn/showproblem.php?pid=3974 Assign the task Time Limit: 15000/5000 MS (Java/Other ...
- 题解 [JOI 2019 Final] 硬币收藏
题面 解析 首先题目可以理解为把一些点放进一个框里,每个格子只能放一个. 那么显然你可以先把这个点移到框里离它最近的格子里, (这个时候格子里可以放很多个) 然后再在框里乱跑移动. 那么我们先考虑只有 ...
- 将vim打造成python开发工具
1.创建vim插件工作目录 [root@ray ~]# mkdir -p ~/.vim/bundle 2.下载插件 [root@ray ~]# cd ~/.vim/bundle [root@ray b ...
- Flutter布局3-----Center
Center 居中的布局 只能有一个chlid,但是可以用container包含好多子child,继承自Align. 用于将其子项与其自身对齐,并根据子级的大小自行调整大小. 如果它的尺寸受到约束且[ ...
- SP1716 GSS3(线段树+矩阵乘法)
Code: #include <bits/stdc++.h> #define N 50001 #define ll long long #define lson now<<1 ...
- VS2010调试时,对于一些语句不能单步运行也不能对变量添加监视的问题
在以mfc建立的工程中,需要建立一个链表来保存一些数据.但是在创建结构体,以及对其赋值的过程中,发现对结构体变量不能观察,添加到监视器中的变量也出现变量名不存在的错误. 首先,在文件的开始定义一个结构 ...
- Java面向对象4(P~U)
P 3-1 Point类的构造函数 (SDUT 2670) import java.util.Arrays; import java.util.Scanner; public class Mai ...
- 利用chrome devtool 观察页面占用内存
推荐阅读:解决内存问题 1. 任务管理器 我们看看下面这幅图: 内存占用空间:原生内存,Dom节点就是存在原生内存里面的. Javascript使用的内存:代表JS堆内存,我们只需要关心括号里面的值( ...