Protobuf用法

官方文档

什么是 protocol buffer?

Protocol buffers are a flexible, efficient, automated mechanism for serializing structured data – think XML, but smaller, faster, and simpler. You define how you want your data to be structured once, then you can use special generated source code to easily write and read your structured data to and from a variety of data streams and using a variety of languages. You can even update your data structure without breaking deployed programs that are compiled against the "old" format.

protocol buffers 是一种用于序列化结构化数据的灵活，高效，自动化的机制–以XML为例，但更小，更快，更简单。 您定义要一次构造数据的方式，然后可以使用生成的特殊源代码轻松地使用各种语言在各种数据流中写入和读取结构化数据。 您甚至可以更新数据结构，而不会破坏已针对“旧”格式编译的已部署程序。

如何工作？

通过在.proto文件中定义协议缓冲区消息类型，您可以指定要序列化的信息的结构。 每个protocol buffer消息都是一个小的逻辑信息记录，其中包含一系列name-value对。 这是.proto文件的一个非常基本的示例，该文件定义了一条包含有关人的信息的消息：

message Person {
  required string name = 1;
  required int32 id = 2;
  optional string email = 3;

  enum PhoneType {
    MOBILE = 0;
    HOME = 1;
    WORK = 2;
  }

  message PhoneNumber {
    required string number = 1;
    optional PhoneType type = 2 [default = HOME];
  }

  repeated PhoneNumber phone = 4;
}

每种消息类型都有一个或多个唯一编号的字段，并且每个字段都有一个名称和一个值类型。您可以指定可选字段，必填字段和重复字段。

定义消息后，就可以在.proto文件上为应用程序的语言运行protocol buffer编译器，以生成数据访问类。

如果选择的语言是C++，则上面的示例将生成一个名为Person的类。 然后，您可以在应用程序中使用此类来填充，序列化和检索Person消息。 然后，您可以编写如下代码：

// encode
Person person;
person.set_name("John Doe");
person.set_id(1234);
person.set_email("jdoe@example.com");
fstream output("myfile", ios::out | ios::binary);
person.SerializeToOstream(&output);

// decode
fstream input("myfile", ios::in | ios::binary);
Person person;
person.ParseFromIstream(&input);
cout << "Name: " << person.name() << endl;
cout << "E-mail: " << person.email() << endl;

关于 proto3

Our most recent version 3 release introduces a new language version - Protocol Buffers language version 3 (aka proto3), as well as some new features in our existing language version (aka proto2). Proto3 simplifies the protocol buffer language, both for ease of use and to make it available in a wider range of programming languages: our current release lets you generate protocol buffer code in Java, C++, Python, Java Lite, Ruby, JavaScript, Objective-C, and C#. In addition you can generate proto3 code for Go using the latest Go protoc plugin, available from the golang/protobuf Github repository. More languages are in the pipeline.

安装

在github上下载release版本link

protoc 是命令行工具

protobuf 是具体runtime

两个都要安装

项目的readme里面有具体安装方法

# linux x86_64
# -x socks... 是我自己的代理，可以不加
curl -x socks5://192.168.0.103:1080 -LO https://github.com/protocolbuffers/protobuf/releases/download/v3.11.2/protobuf-all-3.11.2.zip
unzip protobuf-all-3.11.2.zip -d protobuf
cd protobuf/
cd protobuf-3.11.2/
./configure  # 默认安装在 /usr/local
make
sudo make install
su root
echo "/usr/local/lib" >> /etc/ld.so.conf  # 添加动态库的默认查找路径
ldconfig

在c++中使用

1. 在.proto文件中定义消息格式
2. 使用 protocol buffer 编译器编译生成代码
3. 在c++中使用

• 定义.proto文件

syntax = "proto2";

package tutorial; // 指定包名，防止命名冲突

message Person {
  required string name = 1;
  required int32 id = 2;        // 必须的
  optional string email = 3;    // 可选的

  enum PhoneType { // 枚举类型
    MOBILE = 0;
    HOME = 1;
    WORK = 2;
  }

  message PhoneNumber {
    required string number = 1;
    optional PhoneType type = 2 [default = HOME];
  }

  repeated PhoneNumber phones = 4;
}

message AddressBook {
  repeated Person people = 1;    // 重复的 理解为数组
}

每个元素上的“ = 1”，“ = 2”标记标识该字段在二进制编码中使用的唯一“标记”。 标签编号1至15与较高的编号相比，编码所需的字节减少了一个字节，因此，为了进行优化，您可以决定将这些标签用于常用或重复的元素，而将标签16和更高的标签用于较少使用的可选元素。 重复字段中的每个元素都需要重新编码标签号，因此重复字段是此优化的最佳候选者。

• 编译 protocol buffer
  
  目的是生成读写 AddressBook （以及 Person 和 PhoneNumber）的类

protoc -I=$SRC_DIR --cpp_out=$DST_DIR $SRC_DIR/addressbook.proto

得到文件 addressbook.pb.h addressbook.pb.cc

• 在代码中调用
  
  看起来是这样的：

#include <iostream>
#include <fstream>
#include <string>
#include "addressbook.pb.h"
using namespace std;

tutorial::Person* person;
person->set_id(id);
getline(cin, *person->mutable_name());
person->set_email(email);
tutorial::Person::PhoneNumber* phone_number = person->add_phones();
phone_number->set_number(number);
phone_number->set_type(tutorial::Person::MOBILE);

tutorial::AddressBook address_book;
address_book.ParseFromIstream(&input);
address_book.SerializeToOstream(&output);

cout << "Person ID: " << person.id() << endl;
cout << "  Name: " << person.name() << endl;
for (int j = 0; j < person.phones_size(); j++) {
      const tutorial::Person::PhoneNumber& phone_number = person.phones(j);

具体代码见github

编译的时候请注意，系统可能存在老版本的libprotobuf.so文件，先用 locate libprotobuf.so 看一下，坑死我了

我安装的lib在/usr/local/lib下，而系统的在/usr/lib下，搜索优先级高，如果不卸载可以 -L/usr/local/lib -lprotobuf

不然可能报类似错误：对‘google::protobuf::MessageLite::ParseFromIstream(std::istream*)’未定义的引用

g++ -o test test_writing.cpp addressbook.pb.cc -lprotobuf

在go中使用

流程和c++一样

addressbook.proto文件：

syntax = "proto3";
package tutorial;

import "google/protobuf/timestamp.proto";

message Person {
  string name = 1;
  int32 id = 2;  // Unique ID number for this person.
  string email = 3;

  enum PhoneType {
    MOBILE = 0;
    HOME = 1;
    WORK = 2;
  }

  message PhoneNumber {
    string number = 1;
    PhoneType type = 2;
  }

  repeated PhoneNumber phones = 4;

  google.protobuf.Timestamp last_updated = 5;
}

// Our address book file is just one of these.
message AddressBook {
  repeated Person people = 1;
}

编译，需要多安装一个为go生成代码的插件

export https_proxy=socks5://192.168.0.103:1080  # 这里我用了自己的代理，可以不加
go get github.com/golang/protobuf/protoc-gen-go

然后编译即可

protoc --go_out=. addressbook.proto

生成了addressbook.pb.go文件

go使用代码

package main

import (
	"fmt"
	proto "github.com/golang/protobuf/proto"
	tutorial "github.com/zshorz/test_protobuf/test_go/tutorial"
	"io/ioutil"
	"log"
)

func main() {
	filename := "a.txt"
	fmt.Println("will write in", filename)

	// write
	person := tutorial.Person{
		Name:                 "zsh",
		Id:                   1,
		Email:                "adgadg",
		Phones:               nil,
	}
	people := make([]*tutorial.Person,1)
	people[0] = &person
	book := &tutorial.AddressBook{}
	book.People = people
	// ...

	out, err := proto.Marshal(book);

	if err != nil {
		log.Fatalln("Failed to encode address book:", err)
	}
	if err := ioutil.WriteFile(filename, out, 0644); err != nil {
		log.Fatalln("Failed to write address book:", err)
	}

	// read
	in, err := ioutil.ReadFile(filename)
	if err != nil {
		log.Fatalln("Error reading file:", err)
	}
	book2 := &tutorial.AddressBook{}
	if err := proto.Unmarshal(in, book2); err != nil {
		log.Fatalln("Failed to parse address book:", err)
	}
	fmt.Println(book2)
}

// out
// will write in a.txt
// people:<name:"zsh" id:1 email:"adgadg" >

具体代码见github