字符编码与gcc 编译器的编码问题

最近在 vscode 中借助 gcc 编译器来配置 c

语言开发环境时，发现中文编码存在乱码问题。再加上最近学习到多字节字符与宽字符，搅在一起，搞得很乱，就把自己的理解写下来，供有需者参考吧。

1. 字符编码

先来看维基中关于字符编码的描述

字符编码

字符编码（英語：Character

encoding）、字集碼是把字符集中的字符编码为指定集合中某一对象（例如：比特模式、自然数序列、8位元组或者电脉冲），以便文本在计算机中存储和通过通信网络的传递。常见的例子包括将拉丁字母表编码成摩斯电码和ASCII。其中，ASCII将字母、数字和其它符号編號，並用7位元的二进制來表示这个整数。通常會額外使用一个扩充的位元，以便于以1个字节的方式存储。

在计算机技术发展的早期，如ASCII（1963年）和EBCDIC（1964年）这样的字符集逐漸成為標準。但这些字符集的局限很快就变得明显，于是人们开发了許多方法来扩展它们。对于支持包括东亚CJK字符家族在内的写作系统的要求能支持更大量的字符，并且需要一种系统而不是临时的方法实现这些字符的编码

关于字符编码的详细介绍，可以参考 字符编码笔记

Windows 现在默认所用的汉字编码仍是 GBK，而 字符编码笔记中没有提及，, 因此以下对 GBK 编码进行相应的介绍。

1.1 GBK 编码

汉字内码扩展规范

汉字内码扩展规范，称GBK，全名为《汉字内码扩展规范(GBK)》1.0版，由中华人民共和国全国信息技术标准化技术委员会1995年12月1日制订，国家技术监督局标准化司和电子工业部科技与质量监督司1995年12月15日联合以《技术标函[1995]229号》文件的形式公布。

GBK共收录21886个汉字和图形符号，其中汉字（包括部首和构件）21003个，图形符号883个。

GBK的K为“扩展”的汉语拼音（kuòzhǎn）第一个声母。英文全称Chinese Internal Code Extension

Specification。

字符有一字节和双字节编码，00–7F范围内是第一个字节，和ASCII保持一致，此范围内严格上说有96个文字和32个控制符号。

之后的双字节中，前一字节是双字节的第一位。总体上说第一字节的范围是81–FE（也就是不含80和FF），第二字节的一部分领域在40–7E，其他领域在80–FE

也就是说在 GBK 编码中

• 对于单字节的字符，字节的第一位为 0，后面 7 位为这个符号的 Unicode 码
• 对于双字节的字符，字节的第一位为1， 后面的第二位要遵循上面提及的规则

2. 多字节字符与宽字符

由上面关于编码的介绍可知，一个字符可能占据一个字节，也可能占据两个字节。由于字符在实际储存时，都是二进制的格式，因此需要借助额外的信息才能判断出字符的实际字节数。如，对于GBK编码来说，其首位为 0，说明其只有 1 个字节；首位为 1，则说明其有两个字节。

为了避免需要额外的信息，才能判断出字符中实际的字节数，则就需要引入宽字符（C语言中的定义为 wchar_t)。c 语言中的宽字符占据 2 个字节，其优点是能够加快字符的解析速度（应为不再需要判断字符的个数），其缺点也显而易见，就是会增加内存空间的占用（因为能在多字节字符中用一个字符表示的字符，用宽字节也必须要用两个字符来表示）

多字节字符和宽字符，有点类似于算法中运算速度和内存占用的问题，鱼与熊掌，不可兼得也。

3. gcc 编译器配置以及相关实例

之所以会对编码进行深入的学习，是因为最近在 vscode 上借助 gcc 来配置 c 语言开发环境时，碰到了汉字乱码的问题，再加了最近在学习宽字符，所以对编码知识进行了深入的学习

所用的 gcc 编译环境如下：

gcc version
8.1.0 (x86_64-posix-seh-rev0, Built by MinGW-W64 project)

gcc 编译时，默认会按照 c 文件的编码进行编码，所以 c 文件的编码要和 cmd 命令窗口的编码格式相同，不然就会出乱码。

windows cmd 的默认的编码为 gbk，如下图:

因此，c 文件的编码也要为 gbk，才能保证汉字不乱码。当然也可以通过 chcp 65001 来将cmd 的编码格式改为utf-8，这样 utf-8 编码的c 文件输出的汉字就不会乱码。

如果要把 cmd 改为默认的编码，则使用 chcp936命令即可。

当然，如果不想修改默认的 cmd 编码，又想避免由于 c 文件的编码与 cmd 默认编码不匹配所导致的乱码问题，可以在 gcc 的编译选项中加入 -fexec-charset=gbk 来避免乱码。

3.1 多字节字符实例

#include<stdio.h>
#include<string.h>

void main()
{
	char str[10] = "李";
	int a, b, c;
	printf("%#X %#X %#X\n", (unsigned char)str[0], (unsigned char)str[1], (unsigned char)str[2]);
	printf("length: %d\n", strlen(str));
	a = printf("%c%c%c", str[0], str[1], str[2]);  // 输出 3 个字节
	putchar('\n');
	b = printf("%c%c", str[0], str[1]);  // 输出 2 个字节
	putchar('\n');
	printf("a = %d, b = %d", a, b);
}

• 编译时采用 utf-8 编码

  gcc -fexec-charset=gbk utf8.c -o utf8.exe
  

• cmd 窗口采用 utf-8 编码的输出

  

  • 从图中的结果可看出，连续输出 3 个字节可以输出正确的汉字，这是由于 utf-8 中，常用汉字为 3 个字节。

  • 只输出两个字节时，没法显示内容。从 b = 2 也可以看出，输出成功，说明不能显示的原因是 cmd 解析出错。出错的原因是因为其第一个字节已经指定了当前字符包含 3 个字节，而实际只输出两个字节，导致 cmd 窗口解析失败。

    utf-8 的编码规则

    UTF-8 的编码规则很简单，只有二条：

    1）对于单字节的符号，字节的第一位设为0，后面7位为这个符号的 Unicode 码。因此对于英语字母，UTF-8 编码和 ASCII 码是相同的。

    2）对于n字节的符号（n > 1），第一个字节的前n位都设为1，第n + 1位设为0，后面字节的前两位一律设为10。剩下的没有提及的二进制位，全部为这个符号的 Unicode 码。

    下表总结了编码规则，字母x表示可用编码的位。

    Unicode符号范围     |        UTF-8编码方式
    (十六进制)        |              （二进制）
    ----------------------+---------------------------------------------
    0000 0000-0000 007F | 0xxxxxxx
    0000 0080-0000 07FF | 110xxxxx 10xxxxxx
    0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
    0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
    

• cmd 窗口采用 gbk 编码输出

  

  • 鏉（shòu 锋利的意思） 对应的 GBK 编码是 E6 9D，因此打印 3 个字节和 2 个字节时，由于 cmd 的显示的编码为 GBK，所以会输出 鏉，跟实际文件中的”李“相比，就是乱码
  • 输出 3 个字节时，E6 9D 会被解析为 鏉。8E 会解析失败，因为其首位大于 1，按照 GBK 的编码规则，其应该有两个字节，而其只有一个字节，因此解析失败，没有输出

3.2 宽字符实例

// 文件名 wide_char.c，编码 utf-8
#include<stdio.h>
#include<locale.h>

void main()
{
    setlocale(LC_CTYPE, "");  // 设置本地化，不然宽字符无法正常显示
	wchar_t wch = L'李'; // 宽字符的定义
	wprintf(L"%c\n", wch);
	printf("%lc\n", wch);

	// 输出结果为 2，2 说明一个宽字符占据两个字符
	printf("%d %d\n", sizeof(wch), sizeof(wchar_t));  

	// 编译编码为 utf-8 则输出为 6，5
	// 编译编码为 gbk, 则输出结果为 6, 4
    // 以上结果说明一个宽字符固定占据两个字节
	printf("%d %d", sizeof(L"1李"), sizeof("1李"));
}

• 编译运行过程

  

  • 从结果中可看出，在运行的过程中，没有改变 cmd 的编码格式，但是汉字输出没有乱码。

  • c 语言的宽字符借助 Unicode 来实现，因此在使用宽字符时， c 文件的编码格式最好是 utf-8。如果编码格式为 gbk，则编译时会报错

    

相关网站

gbk 编码查询

utf-8编码查询