protobuf编码

 proto2

Protocol Buffers 是一种轻便高效的结构化数据存储格式，可以用于结构化数据序列化，适合做数据存储或 RPC 数据交换格式。可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。

字段规则

• required: 字段必须存在
• optional: 字段没有或有一个
• repeated: 字段重复，0个或多个

proto 数据类型

.proto Type	Notes	C++ Type	Java Type	Python Type[2]	Go Type
double	固定8字节长度	double	double	float	*float64
float	固定4字节长度	float	float	float	*float32
int32	可变长度编码。对负数编码低效，如果字段可能是负数，用sint32代替	int32	int	int	*int32
int64	可变长度编码。对负数编码低效，如果字段可能是负数，用sint64代替	int64	long	int/long[3]	*int64
uint32	可变长度编码，无符号整数	uint32	int[1]	int/long[3]	*uint32
uint64	可变长度编码，无符号整数	uint64	long[1]	int/long[3]	*uint64
sint32	可变长度编码。有符号整数。 These more efficiently encode negative numbers than regular int32s.	int32	int	int	*int32
sint64	可变长度编码。有符号整数。These more efficiently encode negative numbers than regular int64s.	int64	long	int/long[3]	*int64
fixed32	固定4字节长度，无符号整数。 More efficient than uint32 if values are often greater than 228.	uint32	int[1]	int/long[3]	*uint32
fixed64	固定8字节长度，无符号整数。 More efficient than uint64 if values are often greater than 256.	uint64	long[1]	int/long[3]	*uint64
sfixed32	固定4字节长度，有符号整数	int32	int	int	*int32
sfixed64	固定8字节长度，有符号整数	int64	long	int/long[3]	*int64
bool		bool	boolean	bool	*bool
string	UTF-8 encoded or 7-bit ASCII text.	string	String	str/unicode[4]	*string
bytes	包含任意字节序列	string	ByteString	str	[]byte

编码规则

1.varints

理解简单protobuf编码，首先要知道varints。varints使用一个字节或多个字节对整数序列化方法。

varints中的每个字节除了最后一个字节，有一个最有效位(most significant bit ,msb)，这意味指示之后有其他字节。每个字节的低7位一组数的补码

例如：

1

0000  0001

300

1010  1100  0000  0010

只取每个字节低七位

010  1100  000  0010

小端序->大端序

000  0010  010  1100 -->  0001  0010  1100  =300

2.消息结构

protobuf 消息是一系列key-value对，对于二进制消息，字段数字作为关键字。字段的命名和类型在解码时确定。

在进行消息编码时，key/value被连接成字节流。在解码时，解析器可以直接跳过不识别的字段，这样就可以保证新老版本消息定义在新老程序之间的兼容性，从而有效的避免了使用older消息格式的older程序在解析newer程序发来的newer消息时，一旦遇到未知（新添加的）字段时而引发的解析和对象初始化的错误。最后，我们介绍一下字段标号和字段类型是如何进行编码的。每一个 wire-format消息的key实际上是有两个值组成：proto文件中定义的字段标号和wire type。

Type	Meaning	Used For
0	Varint	int32, int64, uint32, uint64, sint32, sint64, bool, enum
1	64-bit	fixed64, sfixed64, double
2	Length-delimited	string, bytes, embedded messages, packed repeated fields
3	Start group	groups (deprecated)
4	End group	groups (deprecated)
5	32-bit	fixed32, sfixed32, float

key = (field_number << 3) | wire_type key的最后3个bits用于存储字段的类型信息。那么在使用该编码时，Protocol Buffer所支持的字段类型将不会超过8种。

例如：150（十进制） 在protobuf二进制文件中是 08 96 01

08 --> 00001000  field_number=1,wire_type=0

96 01 -> 1001 0110  0000 0001 -->  001 0110   000  0001  -->  000 0001   001  0110   --> 1001  0110 =150

3.Signed Integers

wire_type=0 的类型都以varint 进行编码，所以对于int32和int64，对于负数使用补码，int32 需要5个字节，int64需要10个字节，有符号整数使用ZIgZag编码

ZigZag 将有符号整数映射到无符号整数，以此得到一个绝对值较小的数字（例如-1）j就可以获得一个较小的varint编码值。

Signed Original	Encoded As
0	0
-1	1
1	2
-2	3
2147483647	4294967294
-2147483648	4294967295

sint32:       (n << 1) ^ (n >> 31)

sint64:       (n << 1) ^ (n >> 63)

4.Non-varint Numbers

wire-type=1:fixed64, sfixed64, double 固定64bit

wire-type=5：fixed32, sfixed32, float，固定32bit

5.Strings

wire-type=2，字符串长度使用varint编码

例如

message Test2 {
  optional string b = 2;
}

b=“testing” ，编码后结果：

12 07 74 65 73 74 69 6e 67

12： field number=2，wire-type=2  (2<< 3)|2=0x12

长度为7 varint编码 0x07

74 65 73 74 69 6e 67  UTF8 编码

6.Embedded Messages嵌套消息

wire-type=2

message Test1 {
  optional int32 a = 1;
}

message Test3 {
  optional Test1 c = 3;
}

Test1's a field set to 150

Test3 编码结果： 1a 03 08 96 01

1a： field_number=3,wire_type=2  (3<< 3)|2=11010=0x1a

03: 字节数

08 96 01 ： c编码结果

7.Optional And Repeated Elements

proto2 ：消息被定义repeated (没有 [packed=true]选项)，编码的消息有0或多个使用相同字段标号的key-value对，这些重复的值不必连续出现; 他们可能会与其他字段交错，但在解码时顺序保留

optional字段，编码后的消息可能有也可能没有包含该字段号的键值对。

proto3 使用packed encoding：

包含零个元素的打包重复字段不会出现在编码消息中。这个字段的所有元素都打包到一个wire-type=2的key-value对中

message Test4 {
  repeated int32 d = 4 [packed=true];
}

22        // key (field number 4, wire type 2)
06        // payload size (6 bytes)
03        // first element (varint 3)
8E 02     // second element (varint 270)
9E A7 05  // third element (varint 86942)

proto2默认不设置 packed=true
repeated编码采用空格(0x20)分隔
结果是20 03 20 8e 02 20 9e a7  05