【GBK、UTF-8、ISO8859-1】三种编码方式总结及实例
感谢:https://blog.csdn.net/youngstar70/article/details/64117297
一、总结
在Java中,String的getBytes()方法是得到一个操作系统默认的编码格式的字节数组。这个表示在不同情况下,返回的东西不一样!
String.getBytes(String decode)方法会根据指定的decode编码返回某字符串在该编码下的byte数组表示,如:
byte[] b_gbk = "深".getBytes("GBK"); //b_gbk的长度为2
byte[] b_utf8 = "深".getBytes("UTF-8"); //b_utf8的长度为3
byte[] b_iso88591 = "深".getBytes("ISO8859-1");// b_iso88591的长度为1
byte[] b_unicode = "深".getBytes("unicode"); //b_unicode长度为4
将分别返回“深”这个汉字在GBK、UTF-8、ISO8859-1和unicode编码下的byte数组表示,此时b_gbk的长度为2,b_utf8的长度为3,b_iso88591的长度为1,unicode为4。
而与getBytes相对的,可以通过new String(byte[], decode)的方式来还原这个“深”字时,这个new String(byte[], decode)实际是使用decode指定的编码来将byte[]解析成字符串。
String s_gbk = new String(b_gbk,"GBK");
String s_utf8 = new String(b_utf8,"UTF-8");
String s_iso88591 = new String(b_iso88591,"ISO8859-1");
String s_unicode = new String(b_unicode, "unicode");
通过打印s_gbk、s_utf8、s_iso88591和unicode,会发现,s_gbk、s_utf8和unicode都是“深”,而只有s_iso88591是一个不认识的字符,为什么使用ISO8859-1编码再组合之后,无法还原“深”字呢,其实原因很简单,因为ISO8859-1编码的编码表中,根本就没有包含汉字字符,当然也就无法通过"深".getBytes("ISO8859-1");来得到正确的“深”字在ISO8859-1中的编码值了,所以再通过new String()来还原就无从谈起了。
因此,通过String.getBytes(String decode)方法来得到byte[]时,一定要确定decode的编码表中确实存在String表示的码值,这样得到的byte[]数组才能正确被还原。
有时候,为了让中文字符适应某些特殊要求(如http header头要求其内容必须为iso8859-1编码),可能会通过将中文字符按照字节方式来编码的情况,如
String s_iso88591 = new String("深".getBytes("UTF-8"),"ISO8859-1"),
这样得到的s_iso8859-1字符串实际是三个在 ISO8859-1中的字符,在将这些字符传递到目的地后,目的地程序再通过相反的方式String s_utf8 = new String(s_iso88591.getBytes("ISO8859-1"),"UTF-8")来得到正确的中文汉字“深”。这样就既保证了遵守协议规定、也支持中文。
同样,在开发会检查字符长度,以免数据库字段的长度不够而报错,考虑到中英文的差异,肯定不能用String.length()方法判断,而需采用String.getBytes().length;
而这方法将返回该操作系统默认的编码格式的字节数组。如字符串“Hello!你好!”,在一个中文WindowsXP系统下,结果为12,而在英文的UNIX环境下,结果将为9。
因为该方法和平台(编码)相关的。
在中文操作系统中,getBytes方法返回的是一个GBK或者GB2312的中文编码的字节数组,其中中文字符,各占两个字节。
而在英文平台中,一般的默认编码是"ISO-8859-1",每个字符都只取一个字节(而不管是否非拉丁字符)。所以在这种情况下,应该给其传入字符编码字符串,即String.getBytes("GBK").length。
二、main方法测试
public static void main(String[] args) {
String testData = "123abc数据";
//此次测试前提:参数包含中文
testU8(testData);//UTF_8-String:123abc数据
testIso(testData);//ISO_8859_1-String:123abc??
testChineseTrue(testData);//test3-String:123abc数据
testChineseFalse(testData);//test4-String:123abc??
}
/**
* 正常返回:UTF_8-String:123abc数据
* @param testdata
*/
public static void testU8(String testdata){
byte[] bytes = testdata.getBytes(CharsetUtil.UTF_8);
String result = new String(bytes,CharsetUtil.UTF_8);
System.out.println("UTF_8-String:"+result);
}
/**
* 返回有乱码:123abc??
* 原因:ISO8859-1编码的编码表中,根本就没有包含汉字字符。
* @param testdata
*/
public static void testIso(String testdata){
byte[] bytes = testdata.getBytes(CharsetUtil.ISO_8859_1);
String result = new String(bytes,CharsetUtil.ISO_8859_1);
System.out.println("ISO_8859_1-String:"+result);
}
/**
* 返回:123abc数据
* 通过String.getBytes(String decode)方法来得到byte[]时,一定要确定decode的编码表中确实存在String表示的码值。
* gbk/utf-8都可以
* @param testdata
*/
public static void testChineseTrue(String testdata){
Object message = null;
message = new String(testdata.getBytes(CharsetUtil.GBK),CharsetUtil.ISO_8859_1);
String returnData = message.toString();
//解析
byte[] xmlByte =returnData.getBytes(CharsetUtil.ISO_8859_1);
String xml = "";
xml = new String(xmlByte,CharsetUtil.GBK);
System.out.println("test3-String:"+xml);
}
/**
* 当传入的参数包含中文时,执行该方法出现乱码。 返回:test4-String:123abc??
* 原因:通过String.getBytes(String decode)方法来得到byte[]时,一定要确定decode的编码表中确实存在String表示的码值。
* 而ISO8859-1编码的编码表中,根本就没有包含汉字字符。
* @param testdata
*/
public static void testChineseFalse(String testdata){
Object message = null;
message = new String(testdata.getBytes(CharsetUtil.ISO_8859_1),CharsetUtil.GBK);
String returnData = message.toString();
//解析
byte[] xmlByte =returnData.getBytes(CharsetUtil.GBK);
String xml = "";
xml = new String(xmlByte,CharsetUtil.ISO_8859_1);
System.out.println("test4-String:"+xml);
}
三、本地代码解析:
//将接收到的message编码后传送给后台
public ChannelBuffer encode(Object message) throws TransportCodecException {
try{
//message虽说是Object类型,看不到具体类型,但debug知道其数据格式为byte[],字节数组形式,可以强转为byte[],然后再通过New String(byte[],charset)方法将byte[]转换为String类型
//因为不确定接收到的message是什么编码格式,这里会统一转成gbk编码。
message = new String((byte[])message,CharsetUtil.GBK);
String gbkMessage = message.toString(); //当计算字段长度时,由于中英文的差异,肯定不能用String.length()方法判断,而需采用String.getBytes().length;
byte[] arrayOfByte = gbkMessage.getBytes(CharsetUtil.GBK);
String requestByte = String.valueOf(arrayOfByte.length);
String request = StringUtils.leftPad(requestByte,6,"0") + gbkMessage; LogConsole.info("xxx request message: " + request);
return ChannelBuffers.copiedBuffer(request.getBytes(CharsetUtil.GBK)); //
}
catch(Exception e){
}
return null;
}
//解析接收后台的报文,后台中文是用utf-8编码的,然后整体用iso再封一次。
//所以我们接收到后,会先用iso解下,decode方法返回的数据格式是byte[],再通过new String(xmlByte,CharsetUtil.UTF_8)将其按照utf-8解析。
public Object decode(ChannelBuffer buffer) throws TransportCodecException {
//ChannelBuffer该类型是本系统自己封装,通过该方法将ChannelBuffer转换为String类型,这时候的中文还是乱码,之后会用utf-8解下。
String _message = buffer.toString(CharsetUtil.ISO_8859_1); if (_message.length() <= 0){
return null;
} if (isDirect){
return buffer;
}
else{
if (exchangeLength == -1){
exchangeLength = fixedLength(_message,buffer);//后台返回报文格式为:6位的长度位+完整报文,该方法是处理长度位
} int readableLength = buffer.readableBytes();
if (hasRemaining(readableLength)){
clear();
LogConsole.info("xxx response message:" + _message);
return _message.substring(fixedLength).getBytes(CharsetUtil.ISO_8859_1);
} return null;
}
}
//byte[]转String
xml = new String(xmlByte,CharsetUtil.UTF_8);
【GBK、UTF-8、ISO8859-1】三种编码方式总结及实例的更多相关文章
- js加密,三种编码方式
·escape(69个):*/@+-._0-9a-zA-Z ·encodeURI(82个):!#$&’()*+,/:;=?@-._~0-9a-zA-Z ·encodeURI ...
- GB2312、GBK和UTF-8三种编码以及QT中文显示乱码问题
1.GB2312.GBK和UTF-8三种编码的简要说明 GB2312.GBK和UTF-8都是一种字符编码,除此之外,还有好多字符编码.只是对于我们中国人的应用来说,用这三种编码 比较多.简单的说一下, ...
- 【转】GB2312、GBK和UTF-8三种编码的简要说明
原文地址:http://www.cnblogs.com/hust-yingjie/p/5481966.htmlGB2312.GBK和UTF-8都是一种字符编码,除此之外,还有好多字符编码.只是对于我们 ...
- Windows 记事本的 ANSI、Unicode、UTF-8 这三种编码模式有什么区别?
[梁海的回答(99票)]: 简答.一些细节暂无精力查证,如果说错了还请指出. 一句话建议:涉及兼容性考量时,不要用记事本,用专业的文本编辑器保存为不带 BOM 的UTF-8. * * * 如果是为了跨 ...
- linux学习之centos(二):虚拟网络三种连接方式和SecureCRT的使用
---操作环境--- 虚拟机版本:VMware Workstation_10.0.3 Linux系统版本:CentOS_6.5(64位) 物理机系统版本:win10 一.虚拟网络三种连接方式 当在V ...
- Android平台中实现对XML的三种解析方式
本文介绍在Android平台中实现对XML的三种解析方式. XML在各种开发中都广泛应用,Android也不例外.作为承载数据的一个重要角色,如何读写XML成为Android开发中一项重要的技能. 在 ...
- Spring IOC以及三种注入方式
IOC是spring的最基础部分,也是核心模块,Spring的其他组件模块和应用开发都是以它为基础的.IOC把spring的面向接口编程和松耦合的思想体现的淋漓尽致. IOC概念 IOC(Invers ...
- html(常用标签,标签分类),页面模板, CSS(css的三种引入方式),三种引入方式优先级
HTML 标记语言为非编程语言负责完成页面的结构 组成: 标签:被<>包裹的由字母开头,可以结合合法字符( -|数字 ),能被浏览器解析的特殊符号,标签有头有尾 指令:被<>包 ...
- Linux基石【第二篇】虚拟网络三种连接方式(转载)
在虚拟机上安装完Centos系统后,开始配置静态IP,以方便在本宿主机上可以访问虚拟机,在曲折的配置中,了解到虚拟机还有三种连接方式:Bridged,NAT和Host-only,于是,我又一轮新的各种 ...
随机推荐
- .net core编译时设置不自动生成“netcoreapp3.0”目录
不知道出于什么目的,.netcore项目默认编译时生成的文件要多加一层"netcoreapp3.0"或"netcoreapp2.1",这应该不符合大多数开发者的 ...
- java反射使用详细例子
1. 概念 反射,一种计算机处理方式.是程序可以访问.检测和修改它本身状态或行为的一种能力. 2. 反射机制的作用 通过反机制访问java类的属性,方法,构造方法等: 3.反射机制中的类 (1) ja ...
- 面试必问之http以及浏览器相关知识
/** 1.HTTP以及HTTPS概念 HTTP是超文本传输协议,是一个用于传输超媒体文档的应用层协议,被用于在web浏览器和网站服务器之间,以明文方式传递信息, 不提供任何方式的饿数据加密,因此使用 ...
- MySQL--OPTIMIZE TABLE碎片整理
参考:http://blog.51yip.com/mysql/1222.html BLOB和TEXT值会引起一些性能问题,特别是在执行了大量的删除操作时.删除操作会在数据表中留下很大的空洞,以后填入这 ...
- python-day7爬虫基础之Ajax数据爬取
前几天一直在忙老师的项目,就没有继续学python,也没有写什么收获,今天晚上有空看看书,边看边理解着写吧: 首先说一下,我对Ajax的理解,就是有时候我们在浏览某个网页的时候,只要我们鼠标一直往下滑 ...
- 磁力搜索导航,MagnetW将搜索结果格式化统一显示
简介 magnetW基于magnetX的规则原理,将各个磁力站的搜索结果统一格式化 安装 从Github Releases或者Github Wiki下载对应平台 3.1.1 更新了一批规则 支持Soc ...
- day50-线程-定时器
#1.定时器: from threading import Timer def func(): print('定时器') t = Timer(1,func) #定时一秒,开启func线程. t.sta ...
- SpringBoot 1.5.x 集成 Quartz 任务调度框架
Quartz 有分 内存方式 和 数据库方式 内存方式任务信息保存在内存中, 停机会丢失, 需手动重新执行, 数据库方式: 任务信息保存在数据库中, 重点是支持集群. 内存方式 RAMJobStore ...
- spring02-组件注册-@ComponentScan-自动扫描组件&指定扫描规则
上一篇我们讲到,讲@Bean注解标在某个方法上,那么ioc容器启动的时候就会将方法返回值放到ioc容器中 在开发中,实际上包扫描用的比较多,接下来我们会介绍两种方式一种是基于xml,一种是基于注解. ...
- pycharm、Django+node.js、vue搭建web项目
参考文章:https://www.wandouip.com/t5i35466/ 在此感谢 本篇接着上一篇:windows10使用npm安装vue.vue-cli 首先Django项目是搭建好的,就是 ...