本文主要介绍protobuf里的反射功能，使用的pb版本为2.6.1，同时为了简洁，对repeated/extension字段的处理方法没有说明。

最初是起源于这样一个问题：

给定一个pb对象，如何自动遍历该对象的所有字段？

即是否有一个通用的方法可以遍历任意pb对象的所有字段，而不用关心具体对象类型。 

使用场景上有很多：

比如json格式字符串的相互转换，或者bigtable里根据pb对象的字段自动写列名和对应的value。

例如定义了pb messge类型Person如下：

  1. Person person;
    2. 

  2. person.set_name("yingshin");
    3. 

  3. person.set_age(21);

能否将该对象自动转化为json字符串{"name":"yingshin","age":21},或者自动的写hbase里的多列：

key column-name column-value
uid name yingshin
uid age 21

如果设置了新的字段，比如person.set_email("izualzhy@163.com")，则自动添加新的一列：

key column-name column-value
uid email izualzhy@163.com

答案就是 pb的反射功能。

我们的目标是提供这样两个接口：

  1. //从给定的message对象序列化为固定格式的字符串
    2. 

  2. void serialize_message(const google::protobuf::Message& message, std::string* serialized_string);
    3. 

  3. //从给定的字符串按照固定格式还原为原message对象
    4. 

  4. void parse_message(const std::string& serialized_string, google::protobuf::Message* message);

接下来逐步介绍下如何实现。

1. 反射相关接口

要介绍pb的反射功能，先看一个相关的UML示例图：

各个类以及接口说明:

1.1 Message

Person是自定义的pb类型，继承自Message. MessageLite作为Message基类，更加轻量级一些。

通过Message的两个接口GetDescriptor/GetReflection，可以获取该类型对应的Descriptor/Reflection。

1.2 Descriptor

Descriptor是对message类型定义的描述，包括message的名字、所有字段的描述、原始的proto文件内容等。

本文中我们主要关注跟字段描述相关的接口，例如：

  1. 获取所有字段的个数：int field_count() const
  2. 获取单个字段描述类型FieldDescriptor的接口有很多个，例如
  1. const FieldDescriptor* field(int index) const;//根据定义顺序索引获取
    2. 

  2. const FieldDescriptor* FindFieldByNumber(int number) const;//根据tag值获取
    3. 

  3. const FieldDescriptor* FindFieldByName(const string& name) const;//根据field name获取
1.3 FieldDescriptor

FieldDescriptor描述message中的单个字段，例如字段名，字段属性(optional/required/repeated)等。

对于proto定义里的每种类型，都有一种对应的C++类型，例如：

  1. enum CppType {
    2. 

  2. 	CPPTYPE_INT32 = 1, //TYPE_INT32, TYPE_SINT32, TYPE_SFIXED32
    3. 

  3. }

获取类型的label属性：

  1. enum Label {
    2. 

  2. 	LABEL_OPTIONAL = 1, //optional
    3. 

  3. 	LABEL_REQUIRED = 2, //required
    4. 

  4. 	LABEL_REPEATED = 3, //repeated
    5. 

    6. 

  6. 	MAX_LABEL = 3, //Constant useful for defining lookup tables indexed by Label.
    7. 

  7. }

获取字段的名称:const string& name() const;。

1.4 Reflection

Reflection主要提供了动态读写pb字段的接口，对pb对象的自动读写主要通过该类完成。

对每种类型，Reflection都提供了一个单独的接口用于读写字段对应的值。

例如对于读操作：

  1.   virtual int32  GetInt32 (const Message& message,
    2. 

  2.                            const FieldDescriptor* field) const = 0;
    3. 

  3.   virtual int64  GetInt64 (const Message& message,
    4. 

  4.                            const FieldDescriptor* field) const = 0;

特殊的，对于枚举和嵌套的message：

  1.   virtual const EnumValueDescriptor* GetEnum(
    2. 

  2.       const Message& message, const FieldDescriptor* field) const = 0;
    3. 

  3.   // See MutableMessage() for the meaning of the "factory" parameter.
    4. 

  4.   virtual const Message& GetMessage(const Message& message,
    5. 

  5.                                     const FieldDescriptor* field,
    6. 

  6.                                     MessageFactory* factory = NULL) const = 0;

对于写操作也是类似的接口，例如SetInt32/SetInt64/SetEnum等。

2. 反射示例

示例主要是接收任意类型的message对象，遍历解析其中的每个字段、以及对应的值，按照自定义的格式存储到一个string中。同时重新反序列化该string，读取字段以及value，填充到message对象中。例如：

其中Person是自定义的protobuf message类型，用于设置一些字段验证我们的程序。

单纯的序列化/反序列化功能可以通过pb自带的SerializeToString/ParseFromString接口完成。这里主要是为了同时展示自动从pb对象里提取field/value，自动根据field/value来还原pb对象这个功能。

  1. int main() {
    2. 

  2.     std::string serialized_string;
    3. 

  3.     {
    4. 

  4.         tutorial::Person person;
    5. 

  5.         person.set_name("yingshin");
    6. 

  6.         person.set_id(123456789);
    7. 

  7.         person.set_email("zhy198606@gmail.com");
    8. 

  8.         ::tutorial::Person_PhoneNumber* phone = person.mutable_phone();
    9. 

  9.         phone->set_type(tutorial::Person::WORK);
    10. 

  10.         phone->set_number("13266666666");
    11. 

    12. 

  12.         serialize_message(person, &serialized_string);
    13. 

  13.     }
    14. 

    15. 

  15.     {
    16. 

  16.         tutorial::Person person;
    17. 

  17.         parse_message(serialized_string, &person);
    18. 

  18.     }
    19. 

    20. 

  20.     return 0;
    21. 

  21. }

其中Person定义是对example里的addressbook.proto做了少许修改(修改的原因是本文没有涉及pb里数组的处理)

  1. package tutorial;
    2. 

    3. 

  3. message Person {
    4. 

  4.   required string name = 1;
    5. 

  5.   required int32 id = 2;        // Unique ID number for this person.
    6. 

  6.   optional string email = 3;
    7. 

    8. 

  8.   enum PhoneType {
    9. 

  9.       MOBILE = 0;
    10. 

  10.       HOME = 1;
    11. 

  11.       WORK = 2;
    12. 

  12.   }
    13. 

    14. 

  14.   message PhoneNumber {
    15. 

  15.       required string number = 1;
    16. 

  16.       optional PhoneType type = 2 [default = HOME];
    17. 

  17.   }
    18. 

    19. 

  19.   optional PhoneNumber phone = 4;
    20. 

  20. }

3. 反射实例实现

3.1 serialize_message

serialize_message遍历提取message中各个字段以及对应的值，序列化到string中。

主要思路就是通过Descriptor得到每个字段的描述符：字段名、字段的cpp类型。

通过Reflection的GetX接口获取对应的value。

  1. void serialize_message(const google::protobuf::Message& message, std::string* serialized_string) {
    2. 

  2.     const google::protobuf::Descriptor* descriptor = message.GetDescriptor();
    3. 

  3.     const google::protobuf::Reflection* reflection = message.GetReflection();
    4. 

    5. 

  5.     for (int i = 0; i < descriptor->field_count(); ++i) {
    6. 

  6.         const google::protobuf::FieldDescriptor* field = descriptor->field(i);
    7. 

  7.         bool has_field = reflection->HasField(message, field);
    8. 

    9. 

  9.         if (has_field) {
    10. 

  10.             //arrays not supported
    11. 

  11.             assert(!field->is_repeated());
    12. 

    13. 

  13.             switch (field->cpp_type()) {
    14. 

  14. #define CASE_FIELD_TYPE(cpptype, method, valuetype)\
    15. 

  15.                 case google::protobuf::FieldDescriptor::CPPTYPE_##cpptype:{\
    16. 

  16.                     valuetype value = reflection->Get##method(message, field);\
    17. 

  17.                     int wsize = field->name().size();\
    18. 

  18.                     serialized_string->append(reinterpret_cast<char*>(&wsize), sizeof(wsize));\
    19. 

  19.                     serialized_string->append(field->name().c_str(), field->name().size());\
    20. 

  20.                     wsize = sizeof(value);\
    21. 

  21.                     serialized_string->append(reinterpret_cast<char*>(&wsize), sizeof(wsize));\
    22. 

  22.                     serialized_string->append(reinterpret_cast<char*>(&value), sizeof(value));\
    23. 

  23.                     break;\
    24. 

  24.                 }
    25. 

    26. 

  26.                 CASE_FIELD_TYPE(INT32, Int32, int);
    27. 

  27.                 CASE_FIELD_TYPE(UINT32, UInt32, uint32_t);
    28. 

  28.                 CASE_FIELD_TYPE(FLOAT, Float, float);
    29. 

  29.                 CASE_FIELD_TYPE(DOUBLE, Double, double);
    30. 

  30.                 CASE_FIELD_TYPE(BOOL, Bool, bool);
    31. 

  31.                 CASE_FIELD_TYPE(INT64, Int64, int64_t);
    32. 

  32.                 CASE_FIELD_TYPE(UINT64, UInt64, uint64_t);
    33. 

  33. #undef CASE_FIELD_TYPE
    34. 

  34.                 case google::protobuf::FieldDescriptor::CPPTYPE_ENUM: {
    35. 

  35.                     int value = reflection->GetEnum(message, field)->number();
    36. 

  36.                     int wsize = field->name().size();
    37. 

  37.                     //写入name占用字节数
    38. 

  38.                     serialized_string->append(reinterpret_cast<char*>(&wsize), sizeof(wsize));
    39. 

  39.                     //写入name
    40. 

  40.                     serialized_string->append(field->name().c_str(), field->name().size());
    41. 

  41.                     wsize = sizeof(value);
    42. 

  42.                     //写入value占用字节数
    43. 

  43.                     serialized_string->append(reinterpret_cast<char*>(&wsize), sizeof(wsize));
    44. 

  44.                     //写入value
    45. 

  45.                     serialized_string->append(reinterpret_cast<char*>(&value), sizeof(value));
    46. 

  46.                     break;
    47. 

  47.                 }
    48. 

  48.                 case google::protobuf::FieldDescriptor::CPPTYPE_STRING: {
    49. 

  49.                     std::string value = reflection->GetString(message, field);
    50. 

  50.                     int wsize = field->name().size();
    51. 

  51.                     serialized_string->append(reinterpret_cast<char*>(&wsize), sizeof(wsize));
    52. 

  52.                     serialized_string->append(field->name().c_str(), field->name().size());
    53. 

  53.                     wsize = value.size();
    54. 

  54.                     serialized_string->append(reinterpret_cast<char*>(&wsize), sizeof(wsize));
    55. 

  55.                     serialized_string->append(value.c_str(), value.size());
    56. 

  56.                     break;
    57. 

  57.                 }
    58. 

  58.                 case google::protobuf::FieldDescriptor::CPPTYPE_MESSAGE: {
    59. 

  59.                     std::string value;
    60. 

  60.                     int wsize = field->name().size();
    61. 

  61.                     serialized_string->append(reinterpret_cast<char*>(&wsize), sizeof(wsize));
    62. 

  62.                     serialized_string->append(field->name().c_str(), field->name().size());
    63. 

  63.                     const google::protobuf::Message& submessage = reflection->GetMessage(message, field);
    64. 

  64.                     serialize_message(submessage, &value);
    65. 

  65.                     wsize = value.size();
    66. 

  66.                     serialized_string->append(reinterpret_cast<char*>(&wsize), sizeof(wsize));
    67. 

  67.                     serialized_string->append(value.c_str(), value.size());
    68. 

  68.                     break;
    69. 

  69.                 }
    70. 

  70.             }
    71. 

  71.         }
    72. 

  72.     }
    73. 

  73. }
3.2 parse_message

parse_message通过读取field/value，还原message对象。

主要思路跟serialize_message很像，通过Descriptor得到每个字段的描述符FieldDescriptor，通过Reflection的SetX填充message。

  1. void parse_message(const std::string& serialized_string, google::protobuf::Message* message) {
    2. 

  2.     const google::protobuf::Descriptor* descriptor = message->GetDescriptor();
    3. 

  3.     const google::protobuf::Reflection* reflection = message->GetReflection();
    4. 

  4.     std::map<std::string, const google::protobuf::FieldDescriptor*> field_map;
    5. 

    6. 

  6.     for (int i = 0; i < descriptor->field_count(); ++i) {
    7. 

  7.         const google::protobuf::FieldDescriptor* field = descriptor->field(i);
    8. 

  8.         field_map[field->name()] = field;
    9. 

  9.     }
    10. 

    11. 

  11.     const google::protobuf::FieldDescriptor* field = NULL;
    12. 

  12.     size_t pos = 0;
    13. 

  13.     while (pos < serialized_string.size()) {
    14. 

  14.         int name_size = *(reinterpret_cast<const int*>(serialized_string.substr(pos, sizeof(int)).c_str()));
    15. 

  15.         pos += sizeof(int);
    16. 

  16.         std::string name = serialized_string.substr(pos, name_size);
    17. 

  17.         pos += name_size;
    18. 

    19. 

  19.         int value_size = *(reinterpret_cast<const int*>(serialized_string.substr(pos, sizeof(int)).c_str()));
    20. 

  20.         pos += sizeof(int);
    21. 

  21.         std::string value = serialized_string.substr(pos, value_size);
    22. 

  22.         pos += value_size;
    23. 

    24. 

  24.         std::map<std::string, const google::protobuf::FieldDescriptor*>::iterator iter =
    25. 

  25.             field_map.find(name);
    26. 

  26.         if (iter == field_map.end()) {
    27. 

  27.             fprintf(stderr, "no field found.\n");
    28. 

  28.             continue;
    29. 

  29.         } else {
    30. 

  30.             field = iter->second;
    31. 

  31.         }
    32. 

    33. 

  33.         assert(!field->is_repeated());
    34. 

  34.         switch (field->cpp_type()) {
    35. 

  35. #define CASE_FIELD_TYPE(cpptype, method, valuetype)\
    36. 

  36.             case google::protobuf::FieldDescriptor::CPPTYPE_##cpptype: {\
    37. 

  37.                 reflection->Set##method(\
    38. 

  38.                         message,\
    39. 

  39.                         field,\
    40. 

  40.                         *(reinterpret_cast<const valuetype*>(value.c_str())));\
    41. 

  41.                 std::cout << field->name() << "\t" << *(reinterpret_cast<const valuetype*>(value.c_str())) << std::endl;\
    42. 

  42.                 break;\
    43. 

  43.             }
    44. 

  44.             CASE_FIELD_TYPE(INT32, Int32, int);
    45. 

  45.             CASE_FIELD_TYPE(UINT32, UInt32, uint32_t);
    46. 

  46.             CASE_FIELD_TYPE(FLOAT, Float, float);
    47. 

  47.             CASE_FIELD_TYPE(DOUBLE, Double, double);
    48. 

  48.             CASE_FIELD_TYPE(BOOL, Bool, bool);
    49. 

  49.             CASE_FIELD_TYPE(INT64, Int64, int64_t);
    50. 

  50.             CASE_FIELD_TYPE(UINT64, UInt64, uint64_t);
    51. 

  51. #undef CASE_FIELD_TYPE
    52. 

  52.             case google::protobuf::FieldDescriptor::CPPTYPE_ENUM: {
    53. 

  53.                 const google::protobuf::EnumValueDescriptor* enum_value_descriptor =
    54. 

  54.                     field->enum_type()->FindValueByNumber(*(reinterpret_cast<const int*>(value.c_str())));
    55. 

  55.                 reflection->SetEnum(message, field, enum_value_descriptor);
    56. 

  56.                 std::cout << field->name() << "\t" << *(reinterpret_cast<const int*>(value.c_str())) << std::endl;
    57. 

  57.                 break;
    58. 

  58.             }
    59. 

  59.             case google::protobuf::FieldDescriptor::CPPTYPE_STRING: {
    60. 

  60.                 reflection->SetString(message, field, value);
    61. 

  61.                 std::cout << field->name() << "\t" << value << std::endl;
    62. 

  62.                 break;
    63. 

  63.             }
    64. 

  64.             case google::protobuf::FieldDescriptor::CPPTYPE_MESSAGE: {
    65. 

  65.                 google::protobuf::Message* submessage = reflection->MutableMessage(message, field);
    66. 

  66.                 parse_message(value, submessage);
    67. 

  67.                 break;
    68. 

  68.             }
    69. 

  69.             default: {
    70. 

  70.                 break;
    71. 

  71.             }
    72. 

  72.         }
    73. 

  73.     }
    74. 

  74. }

protobuf反射详解的更多相关文章

  1. C#反射の反射详解

    C#反射の反射详解(点击跳转)C#反射の反射接口(点击跳转)C#反射反射泛型接口(点击跳转)C#反射の一个泛型反射实现的网络请求框架(点击跳转) 一.什么是反射 反射(Reflection):这是.N ...

  2. java 反射详解

    反射的概念和原理 类字节码文件是在硬盘上存储的,是一个个的.class文件.我们在new一个对象时,JVM会先把字节码文件的信息读出来放到内存中,第二次用时,就不用在加载了,而是直接使用之前缓存的这个 ...

  3. Java 反射详解 转载

    java 反射 定义 功能 示例 概要: Java反射机制详解 | |目录 1反射机制是什么 2反射机制能做什么 3反射机制的相关API ·通过一个对象获得完整的包名和类名 ·实例化Class类对象 ...

  4. ProtoBuf格式详解

    - 数据结构 通过前面的例子,可以看到PB的数据结构就是每项数据独立编码,包含一个表示数据类型 - Varint Varint是一种对数字进行编码的方法,将数字编码成不定长的二进制数据,数值越小,编码 ...

  5. java反射 详解！！！！

    java反射(特别通俗易懂) 反射是框架设计的灵魂 (使用的前提条件:必须先得到代表的字节码的Class,Class类用于表示.class文件(字节码)) 一.反射的概述 JAVA反射机制是在运行状态 ...

  6. protobuf使用详解

    https://blog.csdn.net/skh2015java/article/details/78404235 原文地址:http://blog.csdn.net/lyjshen/article ...

  7. 【原创】go语言学习（十八）反射详解

    目录 变量介绍 反射介绍 结构体反射 反射总结以及应用场景 变量介绍 1.变量的内在机制 A. 类型信息,这部分是元信息,是预先定义好的B. 值类型,这部分是程序运行过程中,动态改变的 var arr ...

  8. java反射详解

    本篇文章依旧采用小例子来说明,因为我始终觉的,案例驱动是最好的,要不然只看理论的话,看了也不懂,不过建议大家在看完文章之后,在回过头去看看理论,会有更好的理解. 下面开始正文. [案例1]通过一个对象 ...

  9. java反射详解（转）

    本篇文章依旧采用小例子来说明,因为我始终觉的,案例驱动是最好的,要不然只看理论的话,看了也不懂,不过建议大家在看完文章之后,在回过头去看看理论,会有更好的理解. 下面开始正文. [案例1]通过一个对象 ...

随机推荐

  1. [Nuxt] Add CSS Libraries to Nuxt

    You can easily add CSS libraries to Nuxt using yarn or npm to install them, then simply adding them ...

  2. 使用boost::property_tree生成带attribute的xml

    曾经写过一篇"使用Boost property tree来解析带attribute的xml", 但是还有姐妹篇一直没贴.看看前一篇贴了都快都快3年了,时间过的真快. 这一小篇就算是 ...

  3. 在mac中导入hadoop2.6.0源代码至eclipse 分类： A1_HADOOP 2015-04-12 09:27 342人阅读 评论(0) 收藏

    一.环境准备 1.安装jdk.maven等 2.下载hadoop源代码,并解压 3.将tools.jar复制到Classes中,具体原因见http://wiki.apache.org/hadoop/H ...

  4. 数学之路-python计算实战(5)-初识numpy以及pypy下执行numpy

    N .有用的线性代数.傅里叶变换和随机数生成函数.numpy和稀疏矩阵运算包scipy配合使用更加方便.NumPy(Numeric Python)提供了很多高级的数值编程工具,如:矩阵数据类型.矢量处 ...

  5. Spring Tool Suite(STS)加速

    Java开发首选技术是Spring,使用Spring技术首选的开发工具是STS,STS有许多加速spring开发的提示和快捷方式,并将spring的最新技术通过STS快速简单的传递给用户. 但是STS ...

  6. iOS 【UIKit-UIPageControl利用delegate定位圆点位置 之 四舍五入小技巧】

    在UIScrollView中会加入UIPageControl作为页码标识,能够让用户清楚的知道当前的页数.我们须要优化的一点是让pageControl的小圆点精确的跟着scrollView而定位.我们 ...

  7. 关于serialVersionUID的说明 分类： B1_JAVA 2014-05-24 11:02 1334人阅读 评论(0) 收藏

    1.为什么要使用serialVersionUID (1)对于实现了Serializable接口的类,可以将其序列化输出至磁盘文件中,同时会将其serialVersionUID输出到文件中. (2)然后 ...

  8. sublim课程2 sublim编辑器的使用（敲代码的时候把这个放旁边用）

    sublim课程2   sublim编辑器的使用(敲代码的时候把这个放旁边用) 一.总结 一句话总结:不必一次记住所有,不可能也得不偿失,先记住常用,慢慢来.(敲代码的时候把这个放旁边用,一下子就熟了 ...

  9. HDOJ 2043 password

    刚開始看到这个题目的时候,就直接理解成仅仅要是长度符合要求而且字符符合要求,就是一个安全的password了,并没有考虑到至少要3种字符的组合.然后就直接写程序了(先暂且觉得题目就是那个意思),在測试 ...

  10. ag

    https://github.com/k-takata/the_silver_searcher-win32/releases http://betterthanack.com/https://gith ...