解决java socket在传输汉字时出现截断导致乱码的问题

解决java socket在传输汉字时出现截断导致乱码的问题

当使用socket进行TCP数据传输时，传输的字符串会编码成字节数组，当采用utf8编码时，数字与字母长度为1个字节,而汉字一般为3个字节。这里参考

字符集之在UTF-8中，一个汉字为什么需要三个字节？ - 苦涩的茶 - 博客园 (cnblogs.com)

UTF-8 往事 (taoshu.in)

如果传输的字符串是数字，字符和汉字混杂。在数据的接收端，每次调用read方法接收的byte数组的长度是一定的，由于数字，字母和汉字对应的utf8编码长度不同，可能会导致末尾的汉字被截断。举个例子：假定接收端每次调用read方法读取的byte数组长度为20。而发送短发送的字符串为"Hello World! 你好中国!"，转换为byte数组为

[0x48, 0x65, 0x6C, 0x6C, 0x6F, 0x20, 0x57, 0x6F, 0x72, 0x6C, 0x64, 0x21, 0x20, 0xE4, 0xBD, 0xA0, 0xE5, 0xA5, 0xBD, 0xE4, 0xB8, 0xAD, 0xE5, 0x9B, 0xBD, 0x21]

在接收端第一次读取的byte数组长度为20，对应的byte数组为

[0x48, 0x65, 0x6C, 0x6C, 0x6F, 0x20, 0x57, 0x6F, 0x72, 0x6C, 0x64, 0x21, 0x20, 0xE4, 0xBD, 0xA0,0xE5, 0xA5, 0xBD, 0xE4]

转换为字符变成了"Hello World! 你好�"，最后一个字符出现了乱码。这是因为前19个字节(英文空格加标点共13个字节，前两个汉字占六个字节)转换成了字符串"Hello World! 你好"，最后一个字节对应着字符"中"的三个字节[0xE4, 0xB8, 0xAD]中的第一个字节0xE4。但是这个一个字节(首位为1没有对应的单字节字符)是无法转换为可见的字符的。这里就是出现了隔断。"中"的剩余两个字节为下一个read读取得到的字节数组的前两两个字节。

为了能够解决截断问题，我们需要判断接收到的字节数组的最后两个字节是否为被截断的汉字字符的对应的字节。

为了解决这个问题，首先了解一个汉字字符在UTF-8编码中的格式。基本上常见的汉字字符在UTF-8编码中都是三个字节。在UTF-8编码方案中，对三字节编码的每个字节都做了规定：

如果是三个字节编码的话，那么第一个字节的前三位为111，第四位为0，剩余的两个字节的前两位都为10

比如汉字"中"，对应的三个字节用二进制可以表示为：[1110 0100, 1011 1000, 1010 1101]

满足UTF-8编码的要求。

如何根据编码格式来判断得到的byte数组的最后一个或者两个字节是被截断的呢。

我们将byte数组的最后两个字节定义为firstByte和secondByte，分别对应着导数第二个字节和倒数第一个字节。

情况1：

如果倒数第一个字节符合1110 xxxx格式，说明这个字节对应着汉字字符的第一个字节，剩余的两个字节在下个被接收的byte数组中，发生了截断。我们需要暂存最后一个字节secondByte,与下面一个byte数组的前两个字节组合在一起解析出汉字。

情况2：

如果倒数第二个字节的二进制符合1110 xxxx格式，那就说明这个字节对应着汉字字符的第一个字节，最后一个字节对应汉字字符的第二个字节，第三个字节为下个被接收的byte数组第一个字节，发生了截断。这种情况需要将byte数组的最后两个字符保存起来，与下面一个byte数组的第一个字节结合起来才能解析出对应的汉字。

对于如何判断一个字节是否符合1110 xxxx格式，这里我们采用掩码的方式,保留firstByte的前四位，屏蔽后四位（将后四位置零）。

判断 firstByte & 11100000 == 11100000是否成立，如果成立对应第一种情况，否则

判断secondByte & 11100000 == 11100000是否成立，成立则对应第二种情况