Protobuf协议,全称:Protocol Buffer 它跟JSON,XML一样,是一个规定好的数据传播格式.不过,它的序列化和反序列化的效率太变态了…… 来看看几张图你就知道它有多变态.  protobuf 协议 操作步骤: 定义protobuf 文件,并使用protoc.exe 编译 为java文件. protoc.exe 下载地址 https://github.com/google/protobuf/releases 下载protoc-3.6.0-win32.zip 新建maven项目…

Protobuf协议,全称:Protocol Buffer 它跟JSON,XML一样,是一个规定好的数据传播格式.不过,它的序列化和反序列化的效率太变态了…… 来看看几张图你就知道它有多变态. Protobuf的Java实例 一. 安装Protobuf 去Protobuf的GitHub下载,解压. 如果你是Windows环境,则还要下载多一个东西.protobuf-2.5.0-windows.zip. 解压protobuf-2.5.0-windows.zip,把protoc.exe放在Proto…

<从零开始搭建游戏服务器>自定义兼容多种Protobuf协议的编解码器 直接在protobuf序列化数据的前面,加上一个自定义的协议头,协议头里包含序列数据的长度和对应的数据类型,在数据解包的时候根据包头来进行反序列化. 1.协议头定义 关于这一块,我打算先采取比较简单的办法,结构如下:  协议号是自定义的一个int类型的枚举(当然,假如协议吧比较少的话,可以用一个short来代替int以缩小数据包),这个协议号与协议类型是一一对应的,而协议头通常使用数据总长度来填入,具体过程如下: 当客户端…

l  定义一个消息(message)类型 l  标量值类型 l  Optional 的字段及默认值 l  枚举 l  使用其他消息类型 l  嵌套类型 l  更新一个消息类型 l  扩展 l  包(package) l  定义服务(service) l  选项(option) l  生成访问类 本指南描述了怎样使用protocolbuffer语言来构造你的protocol buffer数据,包括.proto文件语法以及怎样生成.proto文件的数据访问类. 本文是一个参考指南——如果要查看如何使…

本文的第一部分将介绍protobuf使用基础以及如何利用protobuf设计通信协议.第二部分会给出smss项目的协议设计规范和源码讲解. 一.Protobuf使用基础 什么是protobuf protobuf是谷歌研发的一种数据序列化和存储技术.主要可以用来解决网络通讯中异构系统的通讯和数据持久化,与同类技术相比(JSON或XML),官方宣称的数据量长度减少3~10倍,运算速度20~100倍.由于与平台无关,因此非常适合使用在多系统的交互中. 目前常见的使用版本是2和3,个人推荐如果你打算在项…

目录 Protobuf 协议浅析 1. Protobuf 介绍 1.1 Protobuf 基本概念 1.2 Protobuf 的优点 1.3 Protobuf, JSON, XML 的区别 2. Protobuf 基本语法 2.1 pb 文件的构成 2.2 消息对象 2.2.1 字段修饰符 2.2.2 字段类型 2.2.3 标识号 2.3 使用 protobuf 编译器编译 pb 文件 3. Protobuf 序列化原理 3.1 Protobuf 编码结构 3.2 Varint 编码 3.2.1…

protobuf和thrift类似,也是一个序列化的协议实现,简称PB(下文出现的PB代表protobuf). Github:https://github.com/google/protobuf 上图,说明一下protobuf协议. PB以“1-5个字节”的编号和类型开头,格式:编号左移3位和类型取或得到. 编号是什么? 编号就是 定义的proto文件中各个字段的编号. 如: 类型是什么? 类型就是 定义的proto文件中各个字段类型,使用3位表示类型,可以表示0到7,共8种类型,PB类型只用了…

学习使用Protobuf,创建java文件 windows : 步骤一:两个文件:proto.exe,  protobuf-Java-2.4.1.jar 步骤二:建立一个工程CreateProtoBuf,在下面建立一个proto文件件,用来存放[proto]文件 步骤三:将proto,exe放在工程下, 步骤四:建立一个msg.proto文件: option java_package = "com.protobuftest.protobuf"; option java_outer_cl…

碰巧用到Proto,算是笔记吧算是笔记吧, windows : 1,两个文件:proto.exe,  protobuf-java-2.4.1.jar 2,建立一个工程TestPb,在下面建立一个proto文件件,用来存放[.proto]文件3,将proto,exe放在工程下, 4,建立一个msg.proto文件: option java_package = "com.protobuftest.protobuf";option java_outer_classname = "P…

netty 默认支持protobuf 的封装与解码,如果通信双方都使用netty则没有什么障碍,但如果客户端是其它语言(C#)则需要自己仿写与netty一致的方式(解码+封装),提前是必须很了解netty是如何进行封装与解码的.这里主要通过读源码主要类ProtobufVarint32FrameDecoder(解码)+ProtobufVarint32LengthFieldPrepender(封装) 来解析其原理与实现. 文章来源http://www.cnblogs.com/tankaixiong…

google protocol buffer的使用和原理 概况: Protocol Buffers(也就是protobuf)是谷歌的语言中立的.平台中立的.可扩展的用于序列化结构化的数据: windows环境下的安装与使用: protocol编译器 安装.安装protocol编译器,用来编译.proto文件: 下载.路径:https://github.com/google/protobuf/releases.里面有windows版的:protoc-3.6.1.win32.zip. 安装. 下载完…

软件环境:Goland Github地址 一.目的 之前用纯逻辑垒完了一个可登入登出的在线多人聊天室(代码仓库地址),这次学习了Protobuf协议,于是想试着更新下聊天室的版本. 主要目的是为了掌握Protobuf的使用. 二.设计思路 通过Protobuf中内置好的编码函数,将要发送的数据进行编码,之后在“编码后的”数据前加入协议号和报头,再转码通过Write与Read函数进行数据的发送和接收. 1,先写好服务端中的监听(Listen)端口函数与客户端上的网络拨号(Dial)函数: 2,客户…

Protobuf应用广泛,尤其作为网络通讯协议最为普遍.本文将详细描述几个让人眼前一亮的protobuf协议设计,对准备应用或已经应用protobuf的开发者会有所启发,甚至可以直接拿过去用. 这里描述的协议设计被用于生产环境的即时通讯.埋点数据采集.消息推送.redis和mysql数据代理.   Bwar从2013年开始应用protobuf,2014年设计了用于mysql数据代理的protobuf协议,2015年设计了用于即时通讯的protobuf协议.高性能C++ IoC网络框架Nebula…

背景:需要用django基于python3模拟一个http接口,请求是post方式,body是protobuf string,返回也是protobuf string 设计:django获取pb string的post body反序列化成json,通过json里面的指定字段的值获取对应的返回json, 并将返回的json序列化成pb string 重点:需要用python实现基于protobuf协议将json转化为pb string,将pb string转成json 步骤: 1.安装protobu…

目录 ProtoBuf介绍 整理下java和JavaScript的例子 demo测试 java作为服务端+客户端测试 客户端前端调用示例 项目地址 参考 ProtoBuf介绍 ProtoBuf 是google团队开发的用于高效存储和读取结构化数据的工具,google出品,必属精品. 目前最新版本为3.文档地址:https://developers.google.com/protocol-buffers/docs/proto3 相比于xml,json,protobuf压缩率更高,传输高效,自然很节…

目录 简介 定义protobuf 定义handler 设置ChannelPipeline 构建client和server端并运行 总结 简介 netty中有很多适配不同协议的编码工具,对于流行的google出品的protobuf也不例外.netty为其提供了ProtobufDecoder和ProtobufEncoder两个工具还有对应的frame detection,接下来我们会通过一个例子来详细讲解如何在netty中使用protobuf. 定义protobuf 我们举个最简单的例子,首先定义一…

前言 在你学习爬虫的知识过程中是否遇到下面的类型.如果有兴趣学习一下或者了解相关知识的,且不嫌在下才疏学浅,可以参考一下.欢迎各位网友的指正. 首先叙述一下问题的会出现的式样. 你可能会在请求参数中看到如下乱码的行为: 接着你会发现content-type数据类型为x-protobuf类型,那么可能你可能需要学习一下protobuf协议才能继续你的爬虫. 那么接下来我们叙述一下为什么会出现这个问题呢? 我不知道这样说下是否正确,仅供参考吧,可以提供一种思路.先说一个正常数据的content-ty…

目录 整体结构说明 protobuf2文件 golang客户端 目录结构 生成pb.go文件 main.go util.go java服务端 目录结构 pom.xml application.yml NettyConfig.java 生成Helloworld.java SocketServerHandler.java NettyServerListener.java Application.java 测试 因为设备的通信协议准备采用protobuf,所以准备这篇protobuf的使用入门,gol…

使用maven编译protobuf所需要的jar包 1. 安装配置maven (1)下载maven        http://maven.apache.org/    版本:apache-maven-2.2.1 (2)添加maven到环境变量 (3)用mvn -version 查看是否成功 2. 下载protobuf https://code.google.com/p/protobuf/downloads/list Protocol Buffers 2.5.0 compiler -- Wind…

今天准备给大家介绍一个c#服务器框架(SuperSocket)和一个c#客户端框架(SuperSocket.ClientEngine).这两个框架的作者是园区里面的江大渔. 首先感谢他的无私开源贡献.之所以要写这个文章是因为群里经常有人问这个客户端框架要如何使用.原因在于服务端框架的文档比较多,客户端的文档比较少,所以很多c#基础比较差的人就不懂怎么玩起来.今天就这里写一个例子希望能给部分人抛砖引玉吧. 参考资料: SuperSocket文档 http://docs.supersocket.ne…

注:试验环境在Mac Idea环境下 1. 介绍Protocol Buffers Protocal Buffers(简称protobuf)是谷歌的一项技术,用于结构化的数据序列化.反序列化,常用于RPC 系统和持续数据存储系统. 其类似于XML生成和解析,但protobuf的效率高于XML,不过protobuf生成的是字节码,可读性比XML差.类似的还有json.Java的Serializable等. 很适合做数据存储或 RPC 数据交换格式.可用于通讯协议.数据存储等领域的语言无关.平台无关.…

一 . Protobuf 的入门 Protobuf 是一个灵活,高效,结构化的数据序列化框架, 相比于 XML 等传统的序列化工具,它更小,更快,更灵活,更简单. Protobuf 支持数据结构化一次可以到处使用.甚至跨语言使用.同通过代码生成工具可以自动生成不同语言版本的源代码,甚至可以在使用不同版本的数据结构中进行数据传递,实现数据结构的向前兼容. Google 的 protobuf 在业界非常流行,很多商业项目选择 protobuf 作为编码解码框架,这里我们一起回顾一下 Protobuf…

1. 下载protobuf https://code.google.com/p/protobuf/downloads/list Protocol Buffers 2.5.0 full source -- C++, Java, Python      -> 代码 2.在VS2005下,创建两个新的工程,分别命名为server和client,每个工程都需要引用protobuf的文件 添加protobuf文件操作:右击项目 -> 属性 -> 配置属性 -> C/C++ -> 常规 …

---恢复内容开始--- 最近编写一个游戏用到protobuf数据格式进行前后台传输,苦于protobuf接受客户端的数据时是需要数据类型的如xxx.parseForm(...),这样就要求服务器在接受客户端请求时必须知道客户端传递的数据类型.由于客户端的请求数据是多种多样的,服务器端又不知道客户端的请求到底是哪个类型,这样就使得服务器端编程带来很多麻烦,甚至寸步难行.难道就没有解决办法了吗,答案当然是有的.下面就说一下常用的方法.(在看本文之前建议先了解protobuf的一些基本语法,和基本用…

先看最终效果 wireshark是开源的,而且在Windows下安装时用的是64位,所以相应的库文件需要使用64位. 一个Lua插件的Dissector结构大致如下: do -- 协议名称为 m_MeteoricProto,在Packet Details窗格显示为 XXX Protocol local struct = Struct local data_dis = Dissector.get("data") local m_MeteoricProto = Proto("me…

本文档为java编程人员使用protocol buffer提供了一个基本的介绍,通过一个简单的例程进行介绍.通过本文,你可以了解到如下信息: 1.在一个.proto文件中定义一个信息格式. 2.使用protoc命令进行编译,生成java代码. 3.使用Java protocol buffer API进行读写操作. l  定义proto文件 以一个地址薄为例,从建立一个.proto文件开始,为需要序列化的数据接口加入一个message属性,在message里面,为每一个字段指定名称和类型,如下所示…

首先下载protobuf.exe 下载地址:https://download.csdn.net/download/qq_34756156/10220137 MessageBody.proto syntax = "proto3"; message messagebody{ //工厂 3G ; //设备id 3918173069 ; //内容长度的长度 消息类型+消息主体 = 内容长度 ; //消息类型 ; //消息主体 ; //时间戳 ; //发送人 ; //接收人 ; //用户组编号…

参考资料说明 SuperSocket文档 http://docs.supersocket.net/ Protobuf语言参考 https://developers.google.com/protocol-buffers/docs/proto 单消息多类型解决方案 https://developers.google.com/protocol-buffers/docs/techniques# 主要资料(非常感谢) http://www.cnblogs.com/caipeiyu/p/5559112.h…

公司内部有些C#服务使用proto-net,引入了bcl.proto中的bcl.Decimal.bcl.DateTime等.对于java的proto生成代码需要对bcl.Decimal.bcl.DateTime转换成本地支持的数据类型.bcl.Decimal结构为32位int保存高位.64位long保存低位,signScale 保存符号(正负)及模数.转换过程如下: bcl.Decimal  --> BigDecimal 1. 将高32位的int以高位在前格式转换为4个长度的byte数组: 2.…

一个 HelloWord 级别的 Java Socket 通信的例子.通讯过程:        先启动 Server 端,进入一个死循环以便一直监听某端口是否有连接请求.然后运行 Client 端,客户端发出连接请求,服务端监听到这次请求后向客户端发回接受消息,连接建立,启动一个线程去处理这次请求,然后继续死循环监听其他请求.客户端输入字符串后按回车键,向服务器发送数据.服务器读取数据后回复客户端数据.这次请求处理完毕,启动的线程消亡.如果客户端接收到 "OK" 之外的返回数据,会再次…