UNICODE与ANSI的区别
什么是ANSI,什么又是UNICODE呢?其实这是两种不同的编码方式标准,ANSI中的字符采用8bit,而UNICODE中的字符采用16bit。(对于字符来说ANSI以单字节存放英文字符,以双字节存放中文等字符,而Unicode下,英文和中文的字符都以双字节存放)Unicode码也是一种国际标准编码,采用二个字节编码,与ANSI码不兼容。目前,在网络、Windows系统和很多大型软件中得到应用。8bit的ANSI编码只能表示256种字符,表示26个英文字母是绰绰有余的,但是表示汉字,韩国语等有着成千上万个字符的非西方字符肯定就不够了,正是如此才引入了UNICODE标准。 在软件开发中,特别是使用C语言的一些有关字符串处理的函数,ANSI和UNICODE是区分是用的,那么ANSI类型的字符和UNICODE类型的字符如何定义,如何使用呢?ANSI和UNICODE又如何转换呢? 一.定义部分: ANSI:char str[1024]; 可用字符串处理函数:strcpy( ), strcat( ), strlen( )等等。 UNICODE:wchar_t str[1024];可用字符串处理函数 二.可用函数: ANSI:即char,可用字符串处理函数:strcat( ),strcpy( ), strlen( )等以str打头的函数。 UNICODE:即wchar_t 可用字符串处理函数:wcscat(),wcscpy(),wcslen()等以wcs打头的函数。 三.系统支持 Windows 98 :只支持ANSI。 Windows 2k :既支持ANSI又支持UNICODE。 Windows CE :只支持UNICODE。 说明 1 在COM里面只支持UNICODE。 2.Windows 2000整个OS系统都是基于UNICODE的,为此在windows 2000 下使用ANSI是需要付出代价的,虽然在编码上不用任何的转换,但是这种转化是隐藏的,是占用系统资源的(CPU,内存)。 3 在Windows 98下必须使用UNICODE,则需要自己手动的编码切换。 四.如何区分: 在我们软件开发中往往需要即支持ANSI又支持UNICODE,不可能在要求类型转换的时候,重新改变字符串的类型,和使用于字符串上的操作函数。为此, 标准C运行期库和Windows 提供了宏定义的方式。 在C语言里面提供了 _UNICODE宏(有下划线),在Windows里面提供了UNICODE宏(无下划线),只要定了_UNICODE宏和UNICODE宏,系统就会自动切换到UNICODE版本,否则,系统按照ANSI的方式进行编译和运行。 只定义了宏并不能实现自动的转换,他还需要一系列的字符定义支持。 1. TCHAR 如果定义了UNICODE宏则TCHAR被定义为wchar_t。 typedef wchar_t TCHAR; 否则TCHAR被定义为char typedef char TCHAR; 2.LPTSTR 如果定义了UNICODE宏则LPTSTR被定义为LPWSTR。(以前一直不知道LPWSTR是什么东东,终于明白了) typedef LPTSTR LPWSTR; 否则TCHAR被定义为char typedef LPTSTR LPSTR; 补充一下: UTF-8是可以用于真正的流式传输的,Unicode是一种编码方案 我的理解是UTF-8是Unicode的一种具体实现。类似的实现还有UTF-16等等。
ANSI/Unicode字符和字符串 TChar.h是String.h的修改,用于创建ANSI/Unicode通用字符串。
Unicode字符串的每个字符都是16位的。
Win9x只支持ANSI;Win2000/XP/2003支持ANSI/Unicode;WinCE只支持Unicode 附:有部分Unicode函数也可以在Win9X中使用,但可能会出现意想不到错误。
wchar_t是Unicode字符的数据类型。
所有的Unicode函数均以wcs开头,ANSI函数均以str开头;ANSI C规定C运行期库支持ANSI和Unicode ANSI Unicode char *strcat(char *, const char *) wchar_t *wcscat(wchar_t *, const wchar_t *) char *strchr(const char * , int) wchar_t *wcschr(const wchar_t * , int) int strcmp(const char *, const char *) int wcscmp(const wchar_t *, const wchar_t *) char *strcpy(char *, const char *) wchar_t *wcscpy(wchar_t *, const wchar_t *) size_t strlen(const char *) wchar_t wcslen(const wchar_t *)
L" wash " : 用于将ANSI字符串转换为Unicode字符串; _TEXT(" wash ")根据是否定义Unicode或_Unicode进行转换。 附:_Unicode用于C运行库;Unicode用于Windows头文件。
ANSI/Unicode通用数据类型 Both(ANSI/Unicode) ANSI Unicode LPCTSTR LPCSTR LPCWSTR LPTSTR LPSTR LPWSTR PCTSTR PCSTR PCWSTR PTSTR PSTR PWSTR TBYTE(TCHAR) CHAR WCHAR
在设计dll时最好提供ANSI和Unicode函数,ANSI函数只用于分配内存,将字符转换为Unicode字符,然后调用Unicode函数。
最好使用操作系统函数,少使用或不实用C运行期函数 eg:操作系统字符串函数(shlWApi.h) StrCat(), StrChr(), StrCmp(), StrCpy()等 注意它们区分大小写,也区分ANSI和Unicode版本 附:ANSI版函数在原函数后加大写字母A Unicode函数在原函数后加大写字母W
成为符合ANSI和Unicode的函数 • 将文本串视为字符数组,而不是c h a r s数组或字节数组。 • 将通用数据类型(如T C H A R和P T S T R)用于文本字符和字符串。 • 将显式数据类型(如B Y T E和P B Y T E)用于字节、字节指针和数据缓存。 • 将T E X T宏用于原义字符和字符串。 • 修改字符串运算问题 。 如:sizeof(szBuffer) -> sizeof(szBuffer) / sizeof(TCHAR) malloc(charNum) -> malloc(charNum * sizeof(TCHAR))
对Unicode字符操作的函数还有:(也有ANSI和Unicode版本) lstrcat() , lstrcmp() / lstrcmpi()[ 它们在内部调用CompareString() ], lstrcpy(), lstrlen() 这些是作为宏实现的。
C运行期函数 windows函数 tolower() PTSTR CharLower(PTSTR pszString) toupper() PTSTR CharUpper(PTSTR pszString) isalpha() BOOL IsCharAlpha(TCHAR ch) BOOL ISCharAlphaNumeric(TCHAR ch) islower() BOOL IsCharLower(TCHAR ch) isupper() BOOL IsCharUpper(TCHAR ch) print() wsprintf() 转换Buffer:DWORD CharLowerBuffer(PTSTR pszString , DWORD cchString) DWORD CharUpperBuffer(PTSTR pszString , DWORD cchString) 也可转换单个字符,如:TCHAR cLowerCaseChar = CharLower((PTSTR)szString[0])
确定字符是ANSI或Unicode BOOL IsTextUnicode( const VOID * pBuffer, //input buffer to be examined int cb, //size of input buffer LPINT lpi //options ) 附:此函数在Win9x系统中,没有实现代码,始终返回FALSE
Unicode与ANSI之间的转换 char szA[40]; wchar szW[40]; // Normal sprintf : all string are ANSI sprintf( szA , " %s " , " ANSI str "); // Convert Unicode string to ANSI sprintf( szA, " %S " , L" Unicode str "); // Normal swprintf : all string are unicode swprinf( szW , "%s" , L" Unicode str "); // Convert ANSI String to Unicode swprinf( szW, L"%S" , "ANSI str");
int MultiByteToWideChar( UINT uCodePage, //code page, 0 DWORD dwFlags, //character-type options, 0 PCSTR pMultiByte, //source string Addr int cchMultiByte, //source string byte length PWSTR pWideCharStr, //Dest string Addr int cchWideChar //Dest string char Nums ) u C o d e P a g e参数用于标识一个与多字节字符串相关的代码页号。d w F l a g s参数用于设定另一个控件,它可以用重音符号之类的区分标记来影响字符。这些标志通常并不使用,在d w F l a g s参数中传递0。p M u l t i B y t e S t r参数用于设定要转换的字符串, c c h M u l t i B y t e参数用于指明该字符串的长度(按字节计算)。如果为c c h M u l t i B y t e参数传递- 1,那么该函数用于确定源字符串的长度。转换后产生的U n i c o d e版本字符串将被写入内存中的缓存,其地址由p Wi d e C h a r S t r参数指定。必须在c c h Wi d e C h a r参数中设定该缓存的最大值(以字符为计量单位)。如果调用M u l t i B y t e To Wi d e C h a r,给c c h Wi d e C h a r参数传递0,那么该参数将不执行字符串的转换,而是返回为使转换取得成功所需要的缓存的值。
可以通过下列步骤将多字节字符串转换成U n i c o d e等价字符串: 1) 调用M u l t i B y t e To Wi d e C h a r函数,为p Wi d e C h a r S t r参数传递N U L L,为c c h Wi d e C h a r参数传递0。 2) 分配足够的内存块,用于存放转换后的U n i c o d e字符串。该内存块的大小由前面对M u l t B y t e To Wi d e C h a r的调用返回。 3) 再次调用M u l t i B y t e To Wi d e C h a r,这次将缓存的地址作为p Wi d e C h a r S t r参数来传递,并传递第一次调用M u l t i B y t e To Wi d e C h a r时返回的缓存大小,作为c c h Wi d e c h a r参数。 4) 使用转换后的字符串。 5) 释放U n i c o d e字符串占用的内存块。
int WideCharToMultiByte( UINT CodePage, // code page DWORD dwFlags, // performance and mapping flags LPCWSTR lpWideCharStr, // wide-character string int cchWideChar, // number of chars in string LPSTR lpMultiByteStr, // buffer for new string int cbMultiByte, // size of buffer LPCSTR lpDefaultChar, // default for unmappable chars LPBOOL lpUsedDefaultChar // set when default char used )
UNICODE与ANSI的区别的更多相关文章
- AJPFX解析关于编码ansi、GB2312、unicode与utf-8的区别
大家平时遇到乱码问题是否有自己的一套解决方案?这篇文章就是介绍一下常用的编码方式关于编码ansi.GB2312.unicode与utf-8的区别 先做一个小小的试验: 在一个文件夹里,把一个txt文本 ...
- Ansi,UTF8,Unicode,ASCII编码的区别
Ansi,UTF8,Unicode,ASCII编码的区别 近日需要不同的编码,关于上述编码,一直迷迷糊糊,查了些资料,总算大致了解了, 下面全是从网上搜来的: 1. ASCII和Ansi编码 ...
- unicode编码与utf-8 区别
unicode编码与utf-8 区别 如果是为了跨平台兼容性,只需要知道,在 Windows 记事本的语境中: 所谓的「ANSI」指的是对应当前系统 locale 的遗留(legacy)编码.[1] ...
- 有关UNICODE、ANSI字符集和相关字符串操作
Q UNICODE字符串如何显示 A 如果程序定义了_UNICODE宏直接用 WCHAR *str=L"unicodestring"; TextOut(0,0,str); 否则就需 ...
- [转]unicode,ansi,utf-8,unicode big endian的故事
unicode,ansi,utf-8,unicode big endian的故事很久很久以前,有一群人,他们决定用8个可以开合的晶体管来组合成不同的状态,以表示世界上的万物.他们看到8个开关状态是好的 ...
- UNICODE和ANSI字符串的转换(解释了MultiByteToWideChar,WideCharToMultiByte,GetTextCharsetInfo,GetTextCharset,IsDBCSLeadByte,IsDBCSLeadByteEx,IsTextUnicode一共7个函数)
继上集故事<多字符集(ANSI)和UNICODE及字符串处理方式准则 >,我们现在有一些特殊需求: 有时候我们的字符串是多字符型,我们却需要使用宽字符型:有的时候却恰恰相反. Window ...
- Python2.7 中文字符编码 & Pycharm utf-8设置、Unicode与utf-8的区别
Python2.7 中文字符编码 & Pycharm utf-8设置.Unicode与utf-8的区别 zoerywzhou@163.com http://www.cnblogs.com/sw ...
- 从字符集发展史看Unicode和UTF-8的区别
从字符集发展史看Unicode和UTF-8的区别 版权声明 本文并非本人原创,其内容来源于网络,本文根据其演绎而来,具体出出已经无法考证,在这里只好给出我所参考的连接. 知乎 https://www. ...
- 字符编码(续)---Unicode与ANSI字符串转换以及分辨字符编码形式
Unicode与ANSI字符串转换 我们使用windows函数MultiByteToWideChar将多字节字符串转换为宽字符字符串,如下: int MultiByteToWideChar( UINT ...
随机推荐
- VIM 多行输入 数字递增 新方法 循环记录法
采用的是mario register这个方法,然后,把一段 auto-increament 操作记录下来,然后playback 循环往复多次.就达到了,每行都递增的目的. 我写的文字如下: vim 输 ...
- UITableView的常用方法与示例
实例方法 dequeueReusableCellWithIdentifier: 初始化一个指定重用标识符的UITableCell对象 两个协议 UITableViewDataSource tableV ...
- 管道函数(pipelined function)简单使用示例
-----------------------------Cryking原创------------------------------ -----------------------转载请注明出处, ...
- Elasticsearch中doc_value的认识
前言:本文的目的是为后续磁盘空间利用优化做铺垫.主要知识点来源于官网文档 一.doc_value是什么 绝大多数的fields在默认情况下是indexed,因此字段数据是可被搜索的.倒排索引中按照一定 ...
- mybatis 入门进阶之 mapper
由于上节 <mybatis 入门优化>中的dao实现类耦合了user.xml中的statment的id,例如:src.main.resource.userMapper.findUserBy ...
- struts2 ValueStack(值栈)解析
Struts2一个重要点就是值栈. ValueStack,是用来存储一些在各个action,或者说是通过s标签.el表达式等给前台Jsp等页面展示的东西. ValueStack是一个接口,其内部接口非 ...
- Java 编译打包命令
背景 编译 打包 解压 运行 参考 背景 我们有的时候总是要使用将自己写的工程编译成 class 文件,同时打包成 jar,虽然有各种工具可以帮助我们,但是毕竟掌握使用 java 本来的命令去做这些更 ...
- python爬虫框架scrapy初识(一)
Scrapy介绍 Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架. 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中.所谓网络爬虫,就是一个在网上到处或定向抓取数据的 ...
- python学习-基础语法
字符编码 1.python 2.x 默认是ASCII 编码 不支持中文,所以在代码有中文的时候 需要在文件最上一行加上#coding=utf-8.python 3.x则没有该问题. 变量命名规则 1. ...
- 一步步优化JVM五:优化延迟或者响应时间
本节的目标是做一些优化以满足对应用对延迟的需求.这次需要几个步骤,包括完善Java堆大小的配置,评估垃圾回收占用的时间和频率,也许还要尝试切换到不同的垃圾回收器,以及由于使用了不同的垃圾回收器,需要重 ...