透过byte数组简单分析Java序列化、Kryo、ProtoBuf序列化
序列化在高性能网络编程、分布式系统开发中是举足轻重的之前有用过Java序列化、ProtocolBuffer等,在这篇文章这里中简单分析序列化后的byte数组观察各种序列化的差异与性能,这里主要分析Java序列化、Kryo、ProtocolBuffer序列化;
- Java序列化为jdk自带的序列化实现,不需要依赖任何包;
- Kryo为高性能开源的Java第三方序列化框架
- ProtocolBuffer为google开源的数据交换格式,独立于语言,支持Java、Python、C++、C#等
比较性能
说明:使用Java序列化、Kryo、ProtocolBuffer分别序列化、反序列化十万次比较三种方式分别使用的时间;
入口程序:
public class TestData implements Serializable {
int sn;
public void setSn(int sn) {
this.sn = sn;
}
}
public class SerializeCompare {
public static void main(String[] args){
TestData testData=new TestData();
testData.setSn(10);
SerializeCompare serialize = new SerializeCompare();
try {
serialize.jdkSerialize(testData);
System.out.println("---------------------------------------------------------------");
serialize.kryoTest(testData);
System.out.println("---------------------------------------------------------------");
serialize.protocolTest();
} catch (ClassNotFoundException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}
public void jdkSerialize(TestData testData) throws IOException,
ClassNotFoundException {
JdkSerialize jdkSerialize = new JdkSerialize();
byte[] jdkByte = null;
TestData deSerialize = null;
long startTime = System.currentTimeMillis();
for (int i = 0; i
对比结果发现Java序列化的性能相比其他两种慢了好多,程序跑多次取中间值,java序列化花的时间为kryo的6倍、为ProtoclBuffer的30多倍,kryo相差也是为6倍左右。
程序跑完的结果:
jdk serialize:1259ms
byte length : 68
ac ed 00 05 73 72 00 26 63 6f 2e 73 6f 6c 69 6e 78 2e 64 65 6d 6f 2e 73 65 72 69 61 6c 69 7a 65 2e 64 61 74 61 2e 54 65 73 74 44 61 74 61 4f 17 51 92 bb 30 95 54 02 00 01 49 00 02 73 6e 78 70 00 00 00 0a
kryo serialize:259ms
byte length : 42
01 00 63 6f 2e 73 6f 6c 69 6e 78 2e 64 65 6d 6f 2e 73 65 72 69 61 6c 69 7a 65 2e 64 61 74 61 2e 54 65 73 74 44 61 74 e1 01 14
protocol serialize:44ms
byte length : 2
08 08
分析byte数组
三种序列化中Java序列化的字节数组是最长的,kryo稍微比Java序列化短一点而ProtocolBuffer的字节数组只有两个字节,下面具体分析每个byte数组;
Java序列化的byte数组
ac ed 00 05 73 72 00 26 63 6f 2e 73 6f 6c 69 6e 78 2e 64 65 6d 6f 2e 73 65 72 69 61 6c 69 7a 65 2e 64 61 74 61 2e 54 65 73 74 44 61 74 61 4f 17 51 92 bb 30 95 54 02 00 01 49 00 02 73 6e 78 70 00 00 00 0a
Java序列化后字节数组三部分组成:开头、类描述、字段值,byte数组中包含了类的版本、元数据、字段描述,字段值等;
开头,所有的对象序列化后都会有,开头与类的描述标识都有在ObjectStreamConstants类中定义有常量;
ac ed : 为幻数
00 05 : 流的版本
类描述
73 : TC_OBJECT 新对象
72 : 新类描述
00 26 : 类名长度
63 6f 2e 73 6f 6c 69 6e 78 2e 64 65 6d 6f 2e 73 65 72 69 61 6c 69 7a 65 2e 64 61 74 61 2e 54 65 73 74 44 61 74 61 :类名 co.solinx.demo.serialize.data.TestData
4f 17 51 92 bb 30 95 54 : serialVersionUID的值
02 : 表示对象支持序列化
00 01 : 表示字段的个数
49 : ASCII码为I,表示字段为int类型
00 02 : 字段名称长度
73 6e : 字段名称:sn
78 : 对象块结束标志,TC ENDBLOCKDATA
70 : 没有父类 TC NULL
00 00 00 0a : 字段sn的值
kryo序列化的byte数组
01 00 63 6f 2e 73 6f 6c 69 6e 78 2e 64 65 6d 6f 2e 73 65 72 69 61 6c 69 7a 65 2e 64 61 74 61 2e 54 65 73 74 44 61 74 e1 01 14
Kryo序列化要比Java序列化简单很多,只有标识+类名+字段三部分组成,对String使用最后一位byte+X70标识String结束;
01 00 : 标识
63 6f 2e 73 6f 6c 69 6e 78 2e 64 65 6d 6f 2e 73 65 72 69 61 6c 69 7a 65 2e 64 61 74 61 2e 54 65 73 74 44 61 74 e1 : 类的名称类名 co.solinx.demo.serialize.data.TestData
01 : 一个字段
14 : 字段的值,反序列化通过 14 >>> 1 ^ -(14 & 1)可以得到值
ProtocolBuffer序列化的byte数组
08 08
ProtoBuf序列化后只有两个字节,跟前面两种简直没法比,但ProtoBuf和其他两种的序列化区别很大,ProtoBuf为与语言平台无关的,需要编写自定义的proto文件定义数据格式,然后用ProtoBuf编译器编译成目标语言:C++、Java、Python等的代理类,对象的序列化、反序列化都需要使用该类来完成;
ProtoBuf序列化对象的byte数组由一系列的key-Value组成,key计算公式为:(field_number<<3)|wire_type、Value:经过编码后的byte,ProtoBuf使用了Varint、zigzag编码极大的压缩了序列化后byte数组的大小,所以当前我们看到的byte数组只有08 08 两个字节。
08 : 为key,使用(1<<3)|0计算得到
08 : 为字段sn经过Varint编码后的值
总结
Java序列化相比Kryo与ProtoBuf序列化后的数组要打得多,速度也慢很多,Java序列化时没有对byte经过任何处理,而且序列化类的元素也太多有:开头、类描述、字段值,类的版本、元数据、字段描述,字段值等这些组成,这也是他byte数组大,速度慢的主要原因;
Kryo序列化后只有类名和字段信息,相比Java序列化就要简单了不少,而且Kryo对int、long使用了变长存储也节省了不少空间;
ProtoBuf序列化后的byte只有key-value对组成还使用了Varint、zigzag编码,速度极快,而且占用的空间也极少,但是由于ProtoBuf要编写数据定义文件还要使用ProtoBuf编译器生成目标语言对象,所以相对Java序列化与Kryo来说会麻烦一点;
用哪种序列化组件主要要是主要取决于需求,如果对跨语言、性能要求比较高、新旧版本兼容要求那这三种中ProtoBuf是不二的选择,如果不要求跨语言对性能又有一定要求那Kryo是不错的选择,如果不跨语言对性能、空间也没有要求那可以选择Java序列化;
文章首发地址:Solinx
http://www.solinx.co/archives/377
透过byte数组简单分析Java序列化、Kryo、ProtoBuf序列化的更多相关文章
- 简单分析Java的HashMap.entrySet()的实现
关于Java的HashMap.entrySet(),文档是这样描述的:这个方法返回一个Set,这个Set是HashMap的视图,对Map的操作会在Set上反映出来,反过来也是.原文是 Returns ...
- 简单分析Java中审批业务流程业务原理
- 图片和byte[]数组互转
一.图片转成byte[]数组. import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io ...
- Redis入门 – Jedis存储Java对象 - (Java序列化为byte数组方式)
Redis入门 – Jedis存储Java对象 - (Java序列化为byte数组方式) 原文地址:http://alanland.iteye.com/admin/blogs/1600685(欢迎转载 ...
- 深度分析 Java 的枚举类型:枚举的线程安全性及序列化问题(转)
写在前面: Java SE5 提供了一种新的类型 Java的枚举类型,关键字 enum 可以将一组具名的值的有限集合创建为一种新的类型,而这些具名的值可以作为常规的程序组件使用,这是一种非常有用的功能 ...
- java 中 “文件” 和 “流” 的简单分析
java 中 FIle 和 流的简单分析 File类 简单File 常用方法 创建一个File 对象,检验文件是否存在,若不存在就创建,然后对File的类的这部分操作进行演示,如文件的名称.大小等 / ...
- 深度分析Java的枚举类型—-枚举的线程安全性及序列化问题
原文:深度分析Java的枚举类型--枚举的线程安全性及序列化问题 枚举是如何保证线程安全的 要想看源码,首先得有一个类吧,那么枚举类型到底是什么类呢?是enum吗?答案很明显不是,enum就和clas ...
- java:java静态代理与动态代理简单分析
java静态代理与动态代理简单分析 转载自:http://www.cnblogs.com/V1haoge/p/5860749.html 1.动态代理(Dynamic Proxy) 代理分为静态代理和动 ...
- Java:对一个对象序列化和反序列化的简单实现
名词解释 序列化:将Java对象转化成字节的过程 反序列化:将字节转化成Java对象的过程 字节:1字节(byte)= 8bit,bit就是计算机认识的二进制 序列化的作用 Java对象是在Java虚 ...
随机推荐
- jvm运行数据分布
本人看的深入理解jvm(该版本的java se7) java运行时数据区域 Java虚拟机在执行java程序时,把内存划分为几个不同的阶段,存在不同的存在时间.不同的用途 先上图 程序计数器:是jvm ...
- Spark集群 + Akka + Kafka + Scala 开发(2) : 开发一个Spark应用
前言 在Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境,我们已经部署好了一个Spark的开发环境. 本文的目标是写一个Spark应用,并可以在集群中测试. ...
- mysql与oracle常用函数及数据类型对比
最近在转一个原来使用oracle,打算改为mysql的系统,有些常用的oracle函数的mysql实现顺便整理了下,主要是系统中涉及到的(其实原来是专门整理过一个详细doc的,只是每次找word麻烦) ...
- wso2esb简介
WSO2 ESB是一个轻量级的易于使用的企业服务资源总线,基于Apache Software License v2.0. WSO2 ESB 允许系统管理员和SOA架构师轻松的配置消息路由, 虚拟化, ...
- Entity Framework 笔记(一)
Entity Framework概述 EF是一个对象关系映射(ORM)框架,允许开发人员使用特定于域的对象关系型数据,开发人员通常不需要编写大量的数据访问代码.使用EF,开发者可以利用LINQ进行查询 ...
- Method Draw – 很好用的 SVG 在线编辑器
Method Draw 是一款在线 SVG 编辑器,是 SVG Edit 的一个分支.Method Draw 的目的是改进 SVG Edit 的可用性和用户体验.它移除了 line-caps/corn ...
- 前端js文件合并三种方式
最近在思考前端js文件该如何合并,当然不包括不能合并文件,而是我们能合并的文件,想了想应该也只有三种方式. 三个方式如下: 1. 一个大文件,所有js合并成一个大文件,所有页面都引用它. 2. 各个页 ...
- JavaScript强化教程——JavaScript 总结
本教程中我们向您讲授了如何向 html 页面添加 JavaScript,使得网站的动态性和交互性更强. 你已经学习了如何创建对事件的响应,验证表单,以及如何根据不同的情况运行不同的脚本. 你也学到了如 ...
- ABAP 数据字典中的参考表和参考字段的作用
ABAP数据字典中的参考表和参考字段的作用 大家最初在SE11中创建表和结构的时候都会遇到一个问题,如果设定了某个字段为QUAN或者CURR类型,也就是数量或金额的时候,总会要求输入一个参考 ...
- SharePoint 2010 文档管理系列之文档搜索
前言:如果一个文档库里面有很多文档,成千上万,对我们来说查找就是个麻烦事儿,所以搜索的必要性就体现出来了.下面,我们简单的介绍下,sharepoint搜索配置,并创建一个简单的搜索页面. 一. 配置S ...