ANSI,UTF8等等这些格式
之前一直在纠结这些格式到底有什么区别,有时候因为格式的问题会让人抓狂。
下面通过实战来分析下:
下面在windows上建立一个txt文档。txt的优势是没有文件头,这样比较好分析。
ANSI格式:
可以看到,0D0A是\r\n,可以忽略,这里的蛤被识别成B8 F2
UTF-8无BOM:
这里的英文字母还是ASCII格式,汉字在这里被识别成 E8 9B A4
UTF-8:
英文字母是ASCII,这里前面多了三个字节: EF BB BF,这个东西可能是BOM
蛤被识别成E8 9B A4
UCS2 大端:
这里有一个前缀 FE FF
这里的0123对应的30,31,32被扩展成两个字节,\r\n也是。
汉字被识别成 86 E4
可以注意到,对于0,识别出 0030,是大端排列的
UCS2小端:
这里有一个前缀 FF FE
另外一个区别是数字和汉字对应的编码是小端排列的
那么这里来总结一下:
1.除了UCS2,其他格式的ASCII字母都是一个字节。
2.UCS2和UTF8都带有前缀
3.对于ANSI和UCS2,汉字被识别成2个字节,对于UTF8,汉字被识别成三个字节(实际上UTF8中,应该随着汉字而变化)。
这里的UCS2不论什么都识别成两个字节,比较变态。
网络上建议为了兼容性,使用无BOM的UTF8
那么有没有BOM有什么区别呢?知乎上这么解答(http://www.zhihu.com/question/20167122):
下面的粗体字都是从这里拷过来的:
UTF-8 不需要 BOM,尽管 Unicode 标准允许在 UTF-8 中使用 BOM。所以不含 BOM 的 UTF-8 才是标准形式
后面又提到:在 UTF-8 文件中放置 BOM 主要是微软的习惯。 这样就释怀了,原来是微软干的,好像系统自带的记事本广受吐槽。
微软在 UTF-8 中使用 BOM 是因为这样可以把 UTF-8 和 ASCII 等编码明确区分开,但这样的文件在 Windows 之外的操作系统里会带来问题。
「UTF-8」和「带 BOM 的 UTF-8」的区别就是有没有 BOM。即文件开头有没有 U+FEFF。
在网页上使用BOM是个错误。BOM设计出来不是用来支持HTML和XML的。要识别文本编码,HTML有charset属性,XML有encoding属性,没必要拉BOM撑场面
其实说BOM是个坏习惯也不尽然,很多shell出于兼容的考虑不检测BOM,最后回头想想,似乎也真就只有Windows坚持用BOM了。
看起来BOM(EFBBBF)就是让编辑器识别他是UTF8,编辑器如果把它识别为字符的话就会出错。
UTF8的格式如下:
1、对于单字节符号,字节第一位为0,后面7位表示字节编码。
2、对于n字节符号,第一字节的前n位都设为1,第n+1位为0,其余位位编码位置。
上面的蛤的表示是E8 9B A4,它有三个字节,第一个字节前面是1110,也正好符合。
那么什么是UCS2呢?UCS2在windows中指代Unicode。
这里(http://demon.tw/programming/utf-16-ucs-2.html)有解答:
简单的说,UTF-16可看成是UCS-2的父集。在没有辅助平面字符(surrogate code points)前,UTF-16与UCS-2所指的是同一的意思
所谓微软的 Unicode,确实是 UTF-16LE,那就是UCS2 LE了。
这里(http://www.zhihu.com/question/20650946)又讲了:
- 所谓的「ANSI」指的是对应当前系统 locale 的遗留(legacy)编码。[1]
- 所谓的「Unicode」指的是带有 BOM 的小端序 UTF-16。[2]
- 所谓的「UTF-8」指的是带 BOM 的 UTF-8。[3]
原来这里的ANSI实际上是GBK这些编码啊!
而记事本的ANSI编码,就是这种默认编码,所以,一个中文文本,用ANSI编码保存,在中文版里编码是GBK模式保存的时候,到繁体中文版里,用BIG5读取,就全乱套了。
这段话看了之后茅塞顿开啊!没有文件头确实难以知道它是什么编码。
记事本也不甘心这样,所以它要支持Unicode,但是有一个问题,一段二进制编码,如何确定它是GBK还是BIG5还是UTF-16/UTF-8?记事本的做法是在TXT文件的最前面保存一个标签,如果记事本打开一个TXT,发现这个标签,就说明是unicode。标签叫BOM,如果是0xFF 0xFE,是UTF16LE,如果是0xFE 0xFF则UTF16BE,如果是0xEF 0xBB 0xBF,则是UTF-8。如果没有这三个东西,那么就是ANSI,使用操作系统的默认语言编码来解释。
还有一个简单的解释:
Unicode是FFFE后面接着UTF-16字符串的二进制文件,UTF-8是EFBBBF后面接着UTF-8字符串的二进制文件、ANSI是有时候会被解释为当前locale对应的code page的字符串的二进制文件。(还是根据前缀来的啊)
看到这一句话,说明GB开头的也可以无视了:
GB 是国标,中国的一个发布编码规范的机构,可以忽略掉,通用性太差了。微软在 GB2312 的基础上扩展了 GBK,也可以忽略掉。
那么UTF8 without BOM怎么解析呢,没有文件头??
一些代码文件里面一般是在最前面加入了文件格式的说明,比如HTML的charset,python的开头一行也有。
这里有一个回答解决了疑惑(如何自动识别UTF8)
UTF-8 can be auto-detected better by contents than by BOM. The method is simple: try to read the file (or a string) as UTF-8 and if that succeeds, assume that the data is UTF-8. Otherwise assume that it is CP1252 (or some other
8 bit encoding). Any non-UTF-8 eight bit encoding will almost certainly contain sequences that are not permitted by UTF-8. Pure ASCII (7 bit) gets interpreted as UTF-8, but the result is correct that way too.
原来它是智能识别,根据UTF8特定的格式来校验它是否是UTF8
还有一些问题仍未解决的:
Qt中出现的Latin1,ASCII是什么?为什么Qt经常乱码?
1.根据百度百科的介绍,Latin1包含ASCII,具有一些其他的字符。当然了,使用英文的时候这些都可以。
2.local8bit应该是本地编码。QString内部应该要保存UTF8,然后输入输出的时候需要转换一下:
QString str = QString::fromLocal8Bit("汉字");//输入
std::cout << "Local Output:" << str.local8Bit() << endl;//输出
根据这篇博客的介绍:
http://blog.csdn.net/brave_heart_lxl/article/details/7186631
可以看出源代码文件的编码格式对其也有影响。而且QString赋值的时候必须要告诉QString自己是什么编码。
一般给个char*的时候,Qt并不知道你采用的是什么编码,而是需要告诉它你采用的是什么编码。
正确的操作应该这样:
告诉Qt 默认的编码(cpp源文件的编码需要对应):
QTextCodec::setCodecForCStrings(QTextCodec::codecForName("GBK"));
QTextCodec::setCodecForCStrings(QTextCodec::codecForName("UTF-8"));
设置QString默认采用的编码。而究竟采用哪一个,一般来说就是源代码是GBK,就用GBK,源代码是UTF-8就用UTF-8。
还有涉及到路径的问题,那就有一个万能的办法:
QTextCodec *codec = QTextCodec::codecForName("UTF-8");
QTextCodec::setCodecForTr(codec);
QTextCodec::setCodecForLocale(QTextCodec::codecForLocale()); //外部路径,非文件中的代码,windows使用的gb2312,这里就采用了gb2312
QTextCodec::setCodecForCStrings(QTextCodec::codecForLocale());//
ANSI,UTF8等等这些格式的更多相关文章
- unicode,ansi,utf-8,unicode big endian编码的区别
知乎--http://www.zhihu.com/question/23374078 http://wenku.baidu.com/view/cb9fe505cc17552707220865.html ...
- Ansi,UTF8,Unicode,ASCII编码的区别
Ansi,UTF8,Unicode,ASCII编码的区别 近日需要不同的编码,关于上述编码,一直迷迷糊糊,查了些资料,总算大致了解了, 下面全是从网上搜来的: 1. ASCII和Ansi编码 ...
- 今天被坑了,而且被坑的好爽! 该死的UTF-8 有 BOM 格式编码
调一个项目,最后无法登录了. 排查到最后发现是cookie无法保存会话ID, 工作两年的经验这时候没用上. 开始一以为是PHP.ini的配置错了. 考虑过域名,浏览器问题. 脚本BUG. 最后最后一步 ...
- unicode ansi utf-8 unicode_big_endian编码的区别
随便说说字符集和编码 快下班时,爱问问题的小朋友Nico又问了一个问题: "sqlserver里面有char和nchar,那个n据说是指unicode的数据,这个是什么意思.&quo ...
- Ansi,UTF8,Unicode,ASCII编码的差别
近日须要不同的编码,关于上述编码,一直迷迷糊糊,查了些资料,总算大致了解了,以下全是从网上搜来的: 1. ASCII和Ansi编码 字符内码(charcter code)指的是用来代表字符的内 ...
- Ansi,UTF8,Unicode,ASCII编码的区别 ---我看完了 明白了很多
来自:http://blog.csdn.net/xiongxiao/article/details/3741731 ------------------------------------------ ...
- VC++ UTF-8与GBK格式转换
// 注释:多字节包括GBK和UTF-8 int GBK2UTF8(char *szGbk,char *szUtf8,int Len) { // 先将多字节GBK(CP_ACP或ANSI)转换成宽字符 ...
- 批量将文件转换为UTF-8无BOM格式
最近有一个项目需要迁移,要把文件全部转换成utf8格式的,本来想用python,后来听说PowerShell很是强大,就试着用了一下,果然好用啊! $list = Get-ChildItem .\ - ...
- UTF-8, Unicode, GB2312格式串转换之C语言版
原住址:http://www.cnitblog.com/wujian-IT/archive/2007/12/13/37671.html /* author: wu.j ...
随机推荐
- Java中的 WeakReference 和 SoftReference
我们知道Java语言中没有指针,取而代之的是引用reference.Java中的引用又可以分为四种:强引用,弱引用(WeakReference),软引用(SoftReference),虚引用(Phan ...
- 【php】mysql全局ID生成方案
生产系统随着业务增长总会经历一个业务量由小变大的过程,可扩展性是考量数据库系统高可用性的一个重要指标;在单表/数据库数据量过大,更新量不断飙涨时,MySQL DBA往往会对业务系统提出sharding ...
- 基于WF4.0的公文管理系统
系统功能说明 公文管理 通过定义公文的基本信息,并将它按照工作流的定义流转实现公文的管理.包含以下功能: )公文创建:用户能够将格式化文本作为公文上传到系统中,并选择工作流启动流程. )公文审批:具有 ...
- PHP模拟发送POST请求之二、用PHP和JS处理URL信息
明白了HTTP请求的头信息后,我们还需要对请求地址有所了解.再者,HTTP GET请求是靠URL实现的,所以了解URL的构造,处理URL的重要性不言而喻. 在PHP中我们用parse_url()函数来 ...
- python模块调用
1.某个模块1被调用到另一个模块2的时候,当不想模块1中的某些代码在模块2中执行时,可以在模块一种添加如下代码: if __name__ == "__main__" ...
- js删除所有子元素
没有removeAll的API,但也十分容易实现: var lis = $("#yetai_tbody").find("tr"); $(lis).each(fu ...
- python之2048
#-*- coding:utf-8 -*- import curses from random import randrange, choice # generate and place new ti ...
- 深搜+剪枝 POJ 1724 ROADS
POJ 1724 ROADS Time Limit: 1000MS Memory Limit: 65536K Total Submissions: 12766 Accepted: 4722 D ...
- 如何实现ZBrush中部分模型的选择和隐藏
在ZBrush中制作雕刻比较庞大细节又很丰富模型的时候,有时你可能只想显示模型的某些部分,有些部分挡住了视线想要暂时隐藏.ZBrush®软件中有一个选项功能使这项操作变得相当简单,像其他功能一样,使用 ...
- 如何解决python中urlopen超时问题
看代码: 利用urlopen中的超时参数设立一个循环 while True: try: page = urllib.request.urlopen(url, timeout=3) break exce ...