本文主要介绍protobuf里的反射功能,使用的pb版本为2.6.1,同时为了简洁,对repeated/extension字段的处理方法没有说明. 最初是起源于这样一个问题: 给定一个pb对象,如何自动遍历该对象的所有字段? 即是否有一个通用的方法可以遍历任意pb对象的所有字段,而不用关心具体对象类型.  使用场景上有很多: 比如json格式字符串的相互转换,或者bigtable里根据pb对象的字段自动写列名和对应的value. 例如定义了pb messge类型Person如下: Person

前言 第二次发博客,希望大家多多鼓励!!! 又接无上老板的一个需求,需要让.net core消息发送端跟消息接收端通信的消息是protobuf格式的(基于protobuf比json小一倍数据量,独特的编码.没有fieldname等),但现有项目的消息类数量巨多,按照网上的方案是安装protobuf.net 这个nuget包,然后需要给消息类一个一个添加[ProtoBuf.ProtoContract].[ProtoBuf.ProtoMember(index)]等Attributes,更可悲的是,还

本节主要内容: 一. 反射: getattr hasattr setattr defattr 二. 补充模块中特殊的变量 三. 正则表达式 re模块 (一)反射: hasattr(object, name)    检查 getattr(object, name)    寻找 setattr(object, name, value)    设置 delattr(object, name)    删除 说明:判断对象object是否包含名为name的特性(hasattr是通过调用getattr(oj

问题记录: 1.在使用protobuf反射机制动态加载解析proto文件时,发现当proto文件中含有import系统proto文件的语句时,无法解析文件,解决方法是添加路径映射. google::protobuf::compiler::DiskSourceTree sourceTree; sourceTree.MapPath("data", "./data"); sourceTree.MapPath("", "D:\\Document

protobuf-net优化效果图 protobuf-net是Unity3D游戏开发中被广泛使用的Google Protocol Buffer库的c#版本,之所以c#版本被广泛使用,是因为c++版本的源代码不支持Unity3D游戏在各个平台上的动态库构建.它是一个网络传输层协议,对应的lua版本有两个可用的库:一个是proto-gen-lua,由tolua作者开发,另外一个是protoc,由云风开发.protobuf-net在GC上有很大的问题,在一个高频率网络通讯的状态同步游戏中使用发现GC过

反射机制 java在运行状态时,能够知道任意类的所有属性和方法,都能够调用任意对象的任意方法和属性.这种动态获取的信息以及动态调用对象的方法的功能称为java语言的反射机制. C++本身没有反射机制.protobuf通过proto文件生成相应的message和service,protobuf也通过proto文件提供反射机制,程序在运行时可以通过proto获取任意message和任意service的属性和方法,也可以在运行时调用message的属性和方法. 获取message和service的属性

---恢复内容开始--- 最近编写一个游戏用到protobuf数据格式进行前后台传输,苦于protobuf接受客户端的数据时是需要数据类型的如xxx.parseForm(...),这样就要求服务器在接受客户端请求时必须知道客户端传递的数据类型.由于客户端的请求数据是多种多样的,服务器端又不知道客户端的请求到底是哪个类型,这样就使得服务器端编程带来很多麻烦,甚至寸步难行.难道就没有解决办法了吗,答案当然是有的.下面就说一下常用的方法.(在看本文之前建议先了解protobuf的一些基本语法,和基本用

1. 每个消息头部中带上type name,作为消息的类型标识 2. 通过type name可以找到描述符Descriptor*, FindMessageTypeByName 3. 通过描述符Descriptor*,创建一个对应type name的对象,再用消息的payload去初始化这个消息对象 4. 具现化instantiation每个对应消息的Callback,放入map中,键值就可以用Descriptor* 5. 通过上面的消息对象,引用Descriptor*就可以找到Callback,

Open mDNS Scanning Project 来自:https://mdns.shadowserver.org/ If you are looking at this page, then more than likely, you noticed a scan coming from this server across your network and/or poking at Multicast DNS (mDNS). The Shadowserver Foundation is

const Descriptor *desc = DescriptorPool::generated_pool()->FindMessageTypeByName(msg_name); assert(desc); 上述示例代码,desc结果为空.最后在github找到答案. 上面链接中给出的解答是 OK, finally I figured out that there is no black magic and it's just a linker problem, I compiled the

1.在.proto文件中定义消息格式 2.使用protobuf编译器 3.使用c++ api来读写消息 0.为何使用protobuf? 1.原始内存数据结构,可以以二进制方式sent/saved.这种方式需要相同的内存布局和字节序. 2.以ad-hoc方式将数据项编码成一个简单字符串----比如,将4个int类型编码成"12:3:-23:67".这种方式简灵活.适用于简单数据. 3.将数据序列化为XML.这种方式很流行,因为xml可读性好,编码解码方便,性能也好.仅仅XML dom树比

下载的是github上的:https://github.com/google/protobuf If you get the source from github, you need to generate the configure script first: $ ./autogen.sh This will download gtest source (which is used for C++ Protocol Buffer unit-tests) to the current direc

1.在.proto文件中定义消息格式 2.使用protobuf编译器 3.使用c++ api来读写消息   0.为何使用protobuf?   1.原始内存数据结构,可以以二进制方式sent/saved.这种方式需要相同的内存布局和字节序. 2.以ad-hoc方式将数据项编码成一个简单字符串----比如,将4个int类型编码成"12:3:-23:67".这种方式简灵活.适用于简单数据. 3.将数据序列化为XML.这种方式很流行,因为xml可读性好,编码解码方便,性能也好.仅仅XML d

本文档为java编程人员使用protocol buffer提供了一个基本的介绍,通过一个简单的例程进行介绍.通过本文,你可以了解到如下信息: 1.在一个.proto文件中定义一个信息格式. 2.使用protoc命令进行编译,生成java代码. 3.使用Java protocol buffer API进行读写操作. l  定义proto文件 以一个地址薄为例,从建立一个.proto文件开始,为需要序列化的数据接口加入一个message属性,在message里面,为每一个字段指定名称和类型,如下所示

Protobuf使用手册 第1章 定义.proto 文件 首先我们需要编写一个 proto 文件,定义我们程序中需要处理的结构化数据,在 protobuf 的术语中,结构化数据被称为 Message.proto 文件非常类似 java 或者 C 语言的数据定义,可以使用C或C++风格的注释.下面是一个proto文件的例子. package tutorial;   option java_package = "com.example.tutorial"; option java_oute

1.在.proto文件中定义消息格式 2.使用protobuf编译器 3.使用c++ api来读写消息   0.为何使用protobuf?   1.原始内存数据结构,可以以二进制方式sent/saved.这种方式需要相同的内存布局和字节序. 2.以ad-hoc方式将数据项编码成一个简单字符串----比如,将4个int类型编码成"12:3:-23:67".这种方式简灵活.适用于简单数据. 3.将数据序列化为XML.这种方式很流行,因为xml可读性好,编码解码方便,性能也好.仅仅XML d

本文档为java编程人员使用protocol buffer提供了一个基本的介绍,通过一个简单的例程进行介绍.通过本文,你可以了解到如下信息: 1.在一个.proto文件中定义一个信息格式. 2.使用protoc命令进行编译,生成java代码. 3.使用Java protocol buffer API进行读写操作. l  定义proto文件 以一个地址薄为例,从建立一个.proto文件开始,为需要序列化的数据接口加入一个message属性,在message里面,为每一个字段指定名称和类型,如下所示

http://wangjunle23.blog.163.com/blog/static/11783817120126155282640/     1.在.proto文件中定义消息格式 2.使用protobuf编译器 3.使用c++ api来读写消息   0.为何使用protobuf?   1.原始内存数据结构,可以以二进制方式sent/saved.这种方式需要相同的内存布局和字节序. 2.以ad-hoc方式将数据项编码成一个简单字符串----比如,将4个int类型编码成"12:3:-23:67&

在这里,我先讲述C++使用protobuf,之后,会补充使用go语言使用protobuf. 使用protobuf需要有如下步骤: 在.proto文件中定义消息(message)格式. 使用protobuf的编译器编译.proto文件成为相应的语言代码. 使用对应语言的protobuf API读写消息. 在这里,我直接使用了官方的示例,之后打算使用grpc简单转写这个示例.官方示例实现了一个称为addressbook的功能,具体包括两部分,第一部分是向addressbook中添加个人信息,第二部分

这一系列文章主要是对protocol buffer这种编码格式的使用方式.特点.使用技巧进行说明,并在原生protobuf的基础上进行扩展和优化,使得它能更好地为我们服务. 在上一篇文章中,我们举例了在移动互联网场景下原生protobuf类库使用上的问题,并且自己完成了一个java的编码类库.本文中将展示swift版本的解码类库,并且用网络请求的demo来模拟实际的使用场景,最后再进一步优化protobuf的编码过程 本文包括以下几个部分 1.swift版本的解码类库实现,这里要特别说明,因为大