Hadoop基础-Idea打包详解之手动添加依赖（SequenceFile的压缩编解码器案例）

　　　　　　　　　　　　Hadoop基础-Idea打包详解之手动添加依赖（SequenceFile的压缩编解码器案例）

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰

版权声明：原创作品，谢绝转载！否则将追究法律责任。

一.编辑配置文件(pml.xml)（我们这里配置的是对“cn.org.yinzhengjie.compress.TestCompressCodec”该包进行打包操作）

 <?xml version="1.0" encoding="UTF-8"?>
 <project xmlns="http://maven.apache.org/POM/4.0.0"
          xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
          xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
     <modelVersion>4.0.0</modelVersion>

     <groupId>groupId</groupId>
     <artifactId>yinzhengjieCode</artifactId>
     <version>1.0-SNAPSHOT</version>

     <dependencies>
         <dependency>
             <groupId>org.apache.hadoop</groupId>
             <artifactId>hadoop-client</artifactId>
             <version>2.7.3</version>
         </dependency>

         <dependency>
             <groupId>org.anarres.lzo</groupId>
             <artifactId>lzo-hadoop</artifactId>
             <version>1.0.0</version>
         </dependency>

     </dependencies>

     <!--将指定类的所有依赖打入到一个包中-->
     <build>
         <plugins>
             <plugin>
                 <artifactId>maven-assembly-plugin</artifactId>
                 <configuration>
                     <descriptorRefs>
                         <descriptorRef>jar-with-dependencies</descriptorRef>
                     </descriptorRefs>
                     <archive>
                         <manifest>
                             <!-- main函数所在的类 -->
                             <mainClass>cn.org.yinzhengjie.compress.TestCompressCodec</mainClass>
                         </manifest>
                     </archive>
                 </configuration>
                 <executions>
                     <execution>
                         <id>make-assembly</id> <!-- this is used for inheritance merges -->
                         <phase>package</phase> <!-- bind to the packaging phase -->
                         <goals>
                             <goal>single</goal>
                         </goals>
                     </execution>
                 </executions>
             </plugin>
         </plugins>
     </build>

 </project>

　　注意事项如下：

　　 我们通过pom.xml配置文件不难看出我们需要打的包是“cn.org.yinzhengjie.compress.TestCompressCodec”，上述的配置主要是对该包打入相应的依赖包关系，且上述配置仅对该包有效哟。当然我所述的只是“<build></build>”标签里面里面的参数，它是对手动添加依赖的关键！

二.开始打包

1>.需要打包（cn.org.yinzhengjie.compress.TestCompressCodec）的代码如下：

 /*
 @author :yinzhengjie
 Blog:http://www.cnblogs.com/yinzhengjie/tag/Hadoop%E8%BF%9B%E9%98%B6%E4%B9%8B%E8%B7%AF/
 EMAIL:y1053419035@qq.com
 */
 package cn.org.yinzhengjie.compress;

 import org.apache.hadoop.conf.Configuration;
 import org.apache.hadoop.io.IOUtils;
 import org.apache.hadoop.io.compress.*;
 import org.apache.hadoop.util.ReflectionUtils;
 import java.io.File;
 import java.io.FileInputStream;
 import java.io.FileOutputStream;

 public class TestCompressCodec {
     /**
      * 设置路径动态传参
      * @param args
      */
     public static void main(String[] args) {
         if(args == null || args.length == 0){
             System.out.println("需要输入路径");
             System.exit(-1);
         }
         Class[] classes = {
                 DefaultCodec.class,
                 GzipCodec.class,
                 BZip2Codec.class,
                 Lz4Codec.class,
                 LzopCodec.class,
                 SnappyCodec.class
         };
         for(Class clazz : classes){
             testCompress(clazz, args[0]);
             testDecompress(clazz,args[0]);
         }
     }
     /**
      * Gzip压缩
      * @throws Exception
      */
     public static void testCompress(Class clazz, String path) {
         try {
             long start = System.currentTimeMillis();
             Configuration conf = new Configuration();
             conf.set("fs.defaultFS", "file:///");
             CompressionCodec codec = (CompressionCodec)ReflectionUtils.newInstance(clazz, conf);
             FileInputStream fis = new FileInputStream(path);
             //获取扩展名
             String ext = codec.getDefaultExtension();
             //创建压缩输出流
             CompressionOutputStream cos = codec.createOutputStream(new FileOutputStream(path+ext));
             IOUtils.copyBytes(fis,cos,1024);
             fis.close();
             cos.close();
             System.out.print("压缩类型："+ ext+"\t"+ "压缩时间：" + (System.currentTimeMillis() - start)+ "\t");
             File f = new File(path+ext);
             System.out.print("文件大小："+ f.length() + "\t");
         } catch (Exception e) {
             e.printStackTrace();
         }
     }

     /**
      * Gzip解压
      * @throws Exception
      */
     public static void testDecompress(Class clazz,String path) {
         try {
             long start = System.currentTimeMillis();
             Configuration conf = new Configuration();
             conf.set("fs.defaultFS", "file:///");
             CompressionCodec codec = (CompressionCodec) ReflectionUtils.newInstance(clazz, conf);
             //扩展名
             String ext = codec.getDefaultExtension();
             //压缩输入流
             CompressionInputStream cis = codec.createInputStream(new FileInputStream(path+ext));
             FileOutputStream fos = new FileOutputStream(path+ext+".txt");
             IOUtils.copyBytes(cis,fos,1024);
             cis.close();
             fos.close();
             System.out.println("解压时间：" + (System.currentTimeMillis() - start));
         } catch (Exception e) {
             e.printStackTrace();
         }
     }
 }

2>.点击“package进行打包操作”

3>.打包后的产物

　　在打包的过程需要一定的时间，我们需要耐心等待

　　打包过程中如果没有遇到错误，就会出现以下的界面

 　　打包完成之后，会有两个文件生成，如下图：

三.Hadoop压缩格式综合测试

　　由于我在Windows测试说当前Hadoop版本不支持snappy压缩格式，官网上也没有相应的下载版本（链接：https://pan.baidu.com/s/1Clhsvv-gzvVX7lQOQ27vng 密码：d367），不过有大神编译了Hadoop支持snappy格式的，如果有时间了我也得去研究研究，到时候会把笔记共享给大家。好了，下图就是我使用支持snappy压缩格式的版本进行测试的。

 　　我们将上面的核心信息抽取如下：

压缩类型：.deflate    压缩时间：        文件大小：    解压时间：
压缩类型：.gz         压缩时间：         文件大小：    解压时间：
压缩类型：.bz2        压缩时间：       文件大小：    解压时间：
压缩类型：.lz4        压缩时间：         文件大小：    解压时间：
压缩类型：.lzo        压缩时间：         文件大小：    解压时间：
压缩类型：.snappy     压缩时间：        文件大小：   解压时间：

　　根据结果反推理论：(以上实验是对一个890M的文件进行处理，生成环境最好以实际生成环境为准，这个数据仅供参考！)

　　　　压缩时间从小到大：
　　　　　　lz4 < lzo < gz < snappy < deflate < bz2;

　　　　压缩大小从小到大：

　　　　　　defalte < gz < lz4 < bz2 < lzo < snappy;

　　　　解压时间从小到大：

　　　　　　zo < lz4 < deflate < gz < snappy < bz2;