Hadoop基础-Protocol Buffers串行化与反串行化

　　　　　　　　　　　　　　　　　　　　Hadoop基础-Protocol Buffers串行化与反串行化

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰

版权声明：原创作品，谢绝转载！否则将追究法律责任。

　　我们之前学习过很多种序列化文件格式，比如python中的pickle序列化方式（https://www.cnblogs.com/yinzhengjie/p/8531308.html），golang的Gob序列化方式（https://www.cnblogs.com/yinzhengjie/p/7807051.html），hadoop的SequenceFile序列化文件（https://www.cnblogs.com/yinzhengjie/p/9114301.html），Java内置的ObjectOutputStream序列化方式（https://www.cnblogs.com/yinzhengjie/p/8988003.html）等等。

　　当然，除了语言自己内置的序列化方式外，还有一些手动二进制编码的序列化文件，以及人性化可读格式的序列化文件，比如XMl，JSON，DOM，SAX，STAX，JAXB，JAXP等等，不过这些序列化方式都不是今天的主角，我今天要介绍的是Google公司在2008年就开源的一种序列化方式，即Protocol Buffers序列化。

一.Protocol Buffers 简介

1>.什么是 Protocol Buffers 

　　第一:A description language(一种描述语言);

　　第二：A complier（它是一个编译器）;

　　第三：A library（它是一种库）;

2>.Protocol Buffers 优点

　　第一：易于使用，高效的二进制编码；

　　第二：它是由谷歌公司研发的；

　　第三：简单高效的串行化技术，在2008公开该技术；

3>.支持跨语言

　　官方支持：Java, C++, and Python等等

　　非官方支持：C, C#, Erlang, Perl, PHP, Ruby等等

二.Protocol Buffers 代码生成

1>.创建emp.proto自描述文件(非java文件,具体内容如下)

package tutorial;
option java_package = "tutorialspoint.com";
option java_outer_classname = "Emp2";
message Emp {
    required int32 id = 1;
    required string name = 2;
    required int32 age = 3;
    required int32 salary = 4;
    required string address = 5;
}

2>.将emp.proto（下载地址：链接：https://pan.baidu.com/s/1crYmFwI68kUnzwJgoyOdpw 密码：bh63）和protobuf\src\protoc.exe放在同一个文件夹

3>.编译emp.proto(protoc --java_out=. emp.proto)

4>.将"D:\10.Java\IDE\yhinzhengjieData\ProtocolBuffers\tutorialspoint\com"(这是我本地目录)下的Emp2.java放置在idea中，包名“tutorialspoint.com”

三.编写代码

1>.编写串行化代码

 /*
 @author :yinzhengjie
 Blog:http://www.cnblogs.com/yinzhengjie/tag/Hadoop%E8%BF%9B%E9%98%B6%E4%B9%8B%E8%B7%AF/
 EMAIL:y1053419035@qq.com
 */
 package cn.org.yinzhengjie.protocolBuffers;

 import tutorialspoint.com.Emp2;

 import java.io.File;
 import java.io.FileOutputStream;

 public class MyProtocolBuffers {

     private static  final File protocolBuffers = new File("D:\\10.Java\\IDE\\yhinzhengjieData\\ProtocolBuffers\\emp.protocolBuffers");

     public static void main(String[] args) throws Exception {
         protocolBuffersSerial();
     }
     /**
      * 定义序列化方式
      */
     public static void protocolBuffersSerial() throws Exception {
         long start = System.currentTimeMillis();
         FileOutputStream fos = new FileOutputStream(protocolBuffers);
         //注意，在序列化一个对象的时候，都是打点的方式设置的哟！在设置完毕后需要以".build"结束！
         Emp2.Emp emp = Emp2.Emp.newBuilder().
                 setId(1).
                 setName("尹正杰").
                 setAge(18).
                 setSalary(66666666).
                 setAddress("北京").build();
         //我们循环写入数据
         for (int i = 0; i < 10000000; i++) {
             emp.writeTo(fos);
         }
         fos.close();
         System.out.printf("这是protocol Buffers序列化方式: 生成文件大小:[%d]，用时:[%d]\n",protocolBuffers.length(),System.currentTimeMillis() - start);
     }
 }

 /*
 以上代码执行结果如下：
 这是protocol Buffers序列化方式: 生成文件大小:[280000000]，用时:[10960]
  */

　　执行以上代码后，在本地目录会生成一个文件如下：

2>.编写反串行化代码

 /*
 @author :yinzhengjie
 Blog:http://www.cnblogs.com/yinzhengjie/tag/Hadoop%E8%BF%9B%E9%98%B6%E4%B9%8B%E8%B7%AF/
 EMAIL:y1053419035@qq.com
 */
 package cn.org.yinzhengjie.protocolBuffers;

 import tutorialspoint.com.Emp2;

 import java.io.File;
 import java.io.FileInputStream;
 import java.io.FileOutputStream;

 public class MyProtocolBuffers {

     private static  final File protocolBuffers = new File("D:\\BigData\\JavaSE\\yinzhengjieData\\ProtocolBuffers\\emp.protocolBuffers");

     public static void main(String[] args) throws Exception {
         protocolBuffersSerial();
         protocolBuffersDeserial();
     }
     /**
      * 定义序列化方式
      */
     public static void protocolBuffersSerial() throws Exception {
         long start = System.currentTimeMillis();
         FileOutputStream fos = new FileOutputStream(protocolBuffers);
         //注意，在序列化一个对象的时候，都是打点的方式设置的哟！在设置完毕后需要以".build"结束！
         Emp2.Emp emp = Emp2.Emp.newBuilder().
                 setId(1).
                 setName("尹正杰").
                 setAge(18).
                 setSalary(66666666).
                 setAddress("北京").build();
         //我们循环写入数据
         for (int i = 0; i < 2000000; i++) {
             emp.writeTo(fos);
         }
         fos.close();
         System.out.printf("这是protocol Buffers序列化方式: 生成文件大小:[%d]，用时:[%d]\n",protocolBuffers.length(),System.currentTimeMillis() - start);
     }

     /**
      * 定义反序列化方式
      */
     public static void protocolBuffersDeserial() throws Exception {
         long start = System.currentTimeMillis();
         FileInputStream fis = new FileInputStream(protocolBuffers);

         Emp2.Emp emp = Emp2.Emp.parseFrom(fis);

         for (int i = 0; i < 2000000; i++) {
             emp.getId();
             emp.getName();
             emp.getAge();
             emp.getSalary();
             emp.getAddress();
         }
         System.out.printf("这是protocol Buffers反序列化方式: 生成文件大小:[%d]，用时:[%d]\n",protocolBuffers.length(),System.currentTimeMillis() - start);
     }

 }