在内存空间占用这个指标上,FlatBuffers占用的内存空间比protobuf多了两倍.序列化时二者的cpu计算时间FB比PB快了3000ms左右,反序列化时二者的cpu计算时间FB比PB快了9000ms左右.FB在计算时间上占优势,而PB则在内存空间上占优(相比FB,这也正是它计算时间比较慢的原因). 内存占用多实际上就是代表传输时间较长.因此FB的编解码比较快,而PB的传输比较快.从这个角度来说,总数据量小,但结构复杂的数据类型使用FB时应该会比较快:而总数据量大,结构单一的数据,则PB可…

Protobuf对比XML.Json等其他序列化的优势 protobuf 不管是处理时间上,还是空间占用上都优于现有的其他序列化方式.内存暂用是java 序列化的1/9,时间也是差了一个数量级,一次操作在1us左右.缺点:就是对象结构体有限制,只适合于内部系统使用. json格式在空间占用还是有一些优势,是java序列化的1/2.6.序列化和反序列化处理时间上差不多,也就在5us.当然这次使用的jackson,如果使用普通的jsonlib可能没有这样好的性能,jsonlib估计跟java序列化差…

最近在做socket通信中用到了关于序列化工具选型的问题,在调研过程中开始趋向于用protobuf,可以省去了编解码的过程.能够实现快速开发,且只需要维护一份协议文件即可. 但是调研过程中发现了protobuf的一些弊端,比如需要生成相应的文件类,和业务绑定太紧密,所以在看了AVRO之后发现它完美解决了这个问题. 下面记录下对这两种序列化工具的入门与测评. 一.protobuf基本操作 protobuf简介: Protocol Buffers (a.k.a., protobuf) are Goo…

详见:http://blog.yemou.net/article/query/info/tytfjhfascvhzxcyt383 数据类型 protobuf thrift protobuf thrift protobuf thrift protobuf thrift double double float     byte   i16 int32 i32 int64 i64 uint32   uint64   sint32   sint64   fixed32   fixed64   sfixe…

测试结果 序列化数据对比 bytes字节数对比 具体的数字:   protobuf jackson xstream Serializable hessian2 hessian2压缩 hessian1 序列化(单位ns) 1154 5421  92406  10189 26794 100766 29027 反序列化(单位ns) 1334 8743  117329  64027 37871 188432 37596 bytes 97 311  664  824 374 283 495 protobu…

msgpack和protobuf的对比 msgpack的序列化速度比protobuf要快一些,但反序列化要比protobuf要慢一些,但总体都接近msgpack可以直接序列化类对象,但protobuf需要先写描述映射文件(.proto)msgpack支持的基本类型比protobuf支持的要全面些protobuf的描述文件无法实现类的继承(不知V2.0以上会如何)然而,msgpack在unity下的ios与wp平台下无法支持,但protobuf可以支持全平台…

4千字长文预警!! 背景 JSON/XML不好吗? 好,再没有一种序列化方案能像JSON和XML一样流行,自由.方便,拥有强大的表达力和跨平台能力.是通用数据传输格式的默认首选.不过随着数据量的增加和性能要求的提升,这种自由与通用带来的性能问题也不容忽视. JSON和XML使用字符串表示所有的数据,对于非字符数据来说,字面量表达会占用很多额外的存储空间,并且会严重受到数值大小和精度的影响. 一个32位浮点数 1234.5678 在内存中占用 4 bytes 空间,如果存储为 utf8 ,则需要占…

原文: https://www.douban.com/note/523340109/ Google protobuf: 优点  二进制消息,性能好/效率高(空间和时间效率都很不错)     proto文件生成目标代码,简单易用     序列化反序列化直接对应程序中的数据类,不需要解析后在进行映射(XML,JSON都是这种方式)     支持向前兼容(新加字段采用默认值)和向后兼容(忽略新加字段),简化升级     支持多种语言(可以把proto文件看做IDL文件)     Netty等一些框架集…

https://blog.csdn.net/u013929284/article/details/72582215 利用Protocol Buffers可以很好的解决JSON数据在传输方面的不足,它是Google公司开发的一种数据描述语言, 类似于XML能够将结构化数据序列化,可用于数据存储.通信协议等方面.它不依赖于语言和平台并且可扩展性极强.现阶段官方支持C++.JAVA.Python等三种编程语言,但可以找到大量的几乎涵盖所有语言的第三方拓展包.   protobuf文件使用一个唯一的id…

 我们为什么要序列化 举个栗子:下雨天我们要打伞,但是之后我们要把伞折叠起来,方便我们存放.那么运用到我们java中道理是一样的,我们要将数据分解成字节流,以便存储在文件中或在网络上传输,这叫序列化.我们要用的时候,就需要将字节流重构成对象,这叫反序列化.不知道我这么说大家能不能理解. java序列化的缺点 java自己提供序列化而且用起来也非常简单,但是在远程服务调用中很少用它,主要存在以下缺点: 1.无法跨语言.这应该是java序列化最致命的问题了.由于java序列化是java内部私有的…

TODO 待研究: https://blog.csdn.net/love_se/article/details/7941876 https://blog.csdn.net/wangshubo1989/article/details/73294110 https://golang.org/pkg/encoding/gob/ http://docs.huihoo.com/go/golang.org/pkg/gob/index.html https://studygolang.com/articles…

google protobuf是一个灵活的.高效的用于序列化数据的协议.相比较XML和JSON格式,protobuf更小.更快.更便捷.google protobuf是跨语言的,并且自带了一个编译器(protoc),只需要用它进行编译,可以编译成Java.python.C++.C#.Go等代码,然后就可以直接使用,不需要再写其他代码,自带有解析的代码.更详细的介绍见: Protocol Buffers protobuf安装 1.下载protobuf代码 google/protobuf 2.安装p…

原文地址:http://www.iclojure.com/blog/articles/2016/04/29/cocos2d-js-ajax-protobuf-nodejs-java Google的Protobuf Protobuf全称为“Protocol Buffers”,是Google开源出来的一个序列化协议并配备多种编程语言的实现(Java.C.C++.Python等,甚至JavaScript.ActionScript都有对应的实现),其本质是按照协议规范编写proto文件,该proto文件…

http://blog.csdn.net/hguisu/article/details/20721109#0-tsina-1-1601-397232819ff9a47a7b7e80a40613cfe1 1.  Protobuf简介 protobuf是google提供的一个开源序列化框架,类似于XML,JSON这样的数据表示语言,其最大的特点是基于二进制,因此比传统的XML 表示高效短小得多.虽然是二进制数据格式,但并没有因此变得复杂,开发人员通过按照一定的语法定义结构化的消息格式,然后送给命令行…

在最近参与开发的adobe air项目中,前后端的通信协议从XML.JSON再到protobuf,最后选择protobuf原因,主要是前后端维护protobuf协议就行了,同时还可以利用IDE做一些编译检查.目前我能找到的protobuf as3开源库,都存在一些问题:不支持嵌套类,生成代码无法编译等等.于是花了一点时间,参考google protobuf相关说明,编写protobuf-as3以及protoc-as3,用于支持运行时及代码生成,https://github.com/zhongfq…

在序列化速度的跑分中,Protobuf一骑绝尘,序列化速度快,性能强,体积小,所以打算了解下这个利器 1:安装篇 谷歌官方没有提供.net的实现,所以在nuget上找了一个移植的 Nuget里搜索Protobuf-net,下载,自动添加到项目中 2:定义数据结构 using ProtoBuf; namespace ConsoleApplication1 { [ProtoContract] class Person { [ProtoMember(1)] public int Id { get; s…

序列化在高性能网络编程.分布式系统开发中是举足轻重的之前有用过Java序列化.ProtocolBuffer等,在这篇文章这里中简单分析序列化后的byte数组观察各种序列化的差异与性能,这里主要分析Java序列化.Kryo.ProtocolBuffer序列化: Java序列化为jdk自带的序列化实现,不需要依赖任何包: Kryo为高性能开源的Java第三方序列化框架 ProtocolBuffer为google开源的数据交换格式,独立于语言,支持Java.Python.C++.C#等 比较性能 说明…

简介: protobuf 即 google protocol buffer 是一种数据封装格式协议: 比如其他经常用的xml,json等格式:protobuf的优势是效率高,同样的一份数据使用protobuf存储的时候更小,更加方便: 官网: https://developers.google.com/protocol-buffers/ https://github.com/google/protobuf 在iOS上的使用 目前最新的版本需要xcode7.0+,以及不支持ARC 1. 从gith…

本文来自CSDN博客:http://blog.csdn.NET/program_think/archive/2009/05/31/4229773.aspx 今天来介绍一下"Protocol Buffers "(以下简称protobuf)这个玩意儿.本来俺在构思"生产者/消费者模式 "系列的下一个帖子:关于生产者和消费者之间的数据传输格式.由于里面扯到了protobuf,想想干脆单独开一个帖子算了. ★protobuf是啥玩意儿? 为了照顾从没听说过的同学,照例先来扫…

导读:Kristóf Kovács 是一位软件架构师和咨询顾问,他最近发布了一片对比各种类型NoSQL数据库的文章. 虽然SQL数据库是非常有用的工具,但经历了15年的一支独秀之后垄断即将被打破.这只是时间问题:被迫使用关系数据库,但最终发现不能适应需求的情况不胜枚举. 但是NoSQL数据库之间的不同,远超过两 SQL数据库之间的差别.这意味着软件架构师更应该在项目开始时就选择好一个适合的 NoSQL数据库.针对这种情况,这里对 Cassandra.Mongodb.CouchDB.Redis.…

前言: Protobuf作为数据交换格式, 被很多人喜欢. 数据压缩比高, 向后兼容性强, 性能优异, 而且对平台中性, 支持多语言(C/C++, JAVA, Python). 优点太多, 实在不胜枚举(居家旅行, 杀人放火必备良药, oh yeah! ^_^). 本篇文章着重记录Linux下对C/C++版Protobuf的编译/链接和API使用. Protobuf下载和安装 让我们使用protobuf 2.4.1作为样例来展示. 社区url: http://code.google.com/p/…

序列化框架性能对比(kryo.hessian.java.protostuff) 简介:   优点 缺点 Kryo 速度快,序列化后体积小 跨语言支持较复杂 Hessian 默认支持跨语言 较慢 Protostuff 速度快,基于protobuf 需静态编译 Protostuff-Runtime 无需静态编译,但序列化前需预先传入schema 不支持无默认构造函数的类,反序列化时需用户自己初始化序列化后的对象,其只负责将该对象进行赋值 Java 使用方便,可序列化所有类 速度慢,占空间      …

导读:Kristóf Kovács 是一位软件架构师和咨询顾问,他最近发布了一片对比各种类型nosql数据库的文章.文章由敏捷翻译 – 唐尤华编译.如需转载,请参见文后声明. 虽然SQL数据库是非常有用的工具,但经历了15年的一支独秀之后垄断即将被打破.这只是时间问题:被迫使用关系数据库,但最终发现不能适应需求的情况不胜枚举. 但是NoSQL数据库之间的不同,远超过两 SQL数据库之间的差别.这意味着软件架构师更应该在项目开始时就选择好一个适合的 NoSQL数据库.针对这种情况,这里对 Cass…

导读:Kristóf Kovács 是一位软件架构师和咨询顾问,他最近发布了一片对比各种类型NoSQL数据库的文章. 虽然SQL数据库是非常有用的工具,但经历了15年的一支独秀之后垄断即将被打破.这只是时间问题:被迫使用关系数据库,但最终发现不能适应需求的情况不胜枚举. 但是NoSQL数据库之间的不同,远超过两 SQL数据库之间的差别.这意味着软件架构师更应该在项目开始时就选择好一个适合的 NoSQL数据库.针对这种情况,这里对 Cassandra.Mongodb.CouchDB.Redis. …

http://blog.163.com/jiang_tao_2010/blog/static/12112689020114305013458/ 不错的protobuf.. protobuf的编码方式:http://wangjunle23.blog.163.com/blog/static/1178381712012101573148764/http://m.blog.csdn.net/blog/wanyanxgf/8819604 protobuf的瑕疵:http://blog.chinaunix.…

一.认识Protobuf ref:http://blog.csdn.net/program_think/article/details/4229773摘要:1. protobuf是一个开源项目.2. 用于把某种数据结构的信息,以某种格式保存起来.主要用于数据存储.传输协议格式.3. 优点:◇性能好/效率高◇代码生成机制◇支持“向后兼容”和“向前兼容”◇支持多种编程语言4. 缺点:◇应用不够广◇二进制格式导致可读性差,定位问题难◇缺乏自描述 使用它的最大理由应该是“代码生成”,也就是只要写好描述脚…

大家好,俺又来写博客了.......上次剧情预告说,这次会写hive的博客.......好吧,那俺就不打算写hive了.......老码农路子就是要野(本人不老,不能说得影响了找女票)......这次咱们玩什么呢,我之前就看重了一个比较好玩的小玩意儿,那就是来自google的技术,protobuf. 上次的博客我看了之后很失望啊,阅读数并不高....我在想是不是大家对hadoop之类的并不感兴趣,所以就先换换口味吧.Google Protocol Buffer( 简称 Protobuf) 是 G…

1.前言 surging内部使用的是高性能RPC远程服务调用,如果用json.net序列化肯定性能上达不到最优,所以后面扩展了protobuf,messagepack序列化组件,以支持RPC二进制传输. 在这里需要感谢白纸无字Zonciu,新增了messagepack序列化,让surging 性能上跨了一大步.此篇文章我们来谈谈messagepack.protobuffer.json.net ,并且性能做下对比 开源地址:https://github.com/dotnetcore/surging…

初识 Protocol Buff是谷歌推出的一种序列化协议. 而Java序列化协议也是一种协议. 两者的目的是, 将对象序列化成字节数组, 或者说是二进制数据, 那么他们之间有什么差异呢. proto对象 要使用PB, 我们需要定义一个proto对象, 其支持的数据类型如下: Protobuf定义了一套基本数据类型.几乎都可以映射到C++\Java等语言的基础数据类型. protobuf 数据类型 描述 打包 C++语言映射 bool 布尔类型 1字节 bool double 64位浮点数 N…

  Protobuf的简单介绍.使用和分析   一.protobuf是什么? protobuf(Google Protocol Buffers)是Google提供一个具有高效的协议数据交换格式工具库(类似Json),但相比于Json,Protobuf有更高的转化效率,时间效率和空间效率都是JSON的3-5倍.后面将会有简单的demo对于这两种格式的数据转化效率的对比.但这个库目前使用还不是太流行,据说谷歌内部很多产品都有使用. 二.protobuf有什么? Protobuf 提供了C++.jav…