Hadoop压缩之CompressionCodecFactory

1.CompressionCodecFactory简介

当在读取一个压缩文件的时候，可能并不知道压缩文件用的是哪种压缩算法，那么无法完成解压任务。在Hadoop中，CompressionCodecFactory通过使用其getCodec()方法，可以通过文件扩展名映射到一个与其对应的CompressionCodec类，如README.txt.gz通过getCodec()方法后，GipCodec类。关于Hadoop的压缩，可以参考我的博文《Hadoop压缩》http://www.cnblogs.com/robert-blue/p/4155710.html

实例：使用由文件扩展名推断而来的codec来对文件进行解压缩

 package cn.roboson.codec;

 import java.io.IOException;

 import org.apache.hadoop.conf.Configuration;
 import org.apache.hadoop.fs.FSDataInputStream;
 import org.apache.hadoop.fs.FSDataOutputStream;
 import org.apache.hadoop.fs.FileStatus;
 import org.apache.hadoop.fs.FileSystem;
 import org.apache.hadoop.fs.Path;
 import org.apache.hadoop.io.IOUtils;
 import org.apache.hadoop.io.compress.CompressionCodec;
 import org.apache.hadoop.io.compress.CompressionCodecFactory;
 import org.apache.hadoop.io.compress.CompressionInputStream;

 /*
  * 通过CompressionCodeFactory推断CompressionCodec
  * 1.先从本地上传一个.gz后缀的文件到Hadoop
  * 2.通过文件后缀推断出所用的压缩算法
  * 3.解压上传的压缩文件到统一个目录下
  */
 public class StreamCompressor02 {

     public static void main(String[] args) {

         Configuration conf = new Configuration();
         conf.addResource("core-site.xml");

         try {
             FileSystem fs = FileSystem.get(conf);

             //本地文件
             String localsrc="/home/roboson/桌面/README.txt.gz";
             Path localPath= new Path(localsrc);

             //目的处路径
             String hadoopdsc="/roboson/README.txt.gz";
             Path hadoopPath = new Path(hadoopdsc);

             //复制前/roboson目录下的文件列表
             FileStatus[] files = fs.listStatus(new Path("/roboson/"));
             System.out.println("复制前：");
             for (FileStatus fileStatus : files) {
                 System.out.println(fileStatus.getPath());
             }

             //复制本地文件到Hadoop文件系统中
             fs.copyFromLocalFile(localPath,hadoopPath);

             //复制后/roboson目录下的文件列表
             files = fs.listStatus(new Path("/roboson/"));
             System.out.println("复制后：");
             for (FileStatus fileStatus : files) {
                 System.out.println(fileStatus.getPath());
             }

             //获得一个CompressionCodecFactory实例来推断哪种压缩算法
             CompressionCodecFactory facotry = new CompressionCodecFactory(conf);

             //通过CompressionCodecFactory推断出一个压缩类，用于解压
             CompressionCodec codec =facotry.getCodec(hadoopPath);
             if(codec==null){
                 System.out.println("没有找到该类压缩");
                 System.exit(1);
             }

             /*
              * 1.CompressionCodecFactory的removeSuffix（）用来返回一个文件名，这个文件名==压缩文件的后缀名去掉
              * 如README.txt.gz调用removeSuffix（）方法后，返回的是README.txt
              *
              * 2.CompressionCodec的getDefaultExtension()方法返回的是一个压缩算法的压缩扩展名，如gzip的是.gz
              */
             String uncodecUrl=facotry.removeSuffix(hadoopdsc, codec.getDefaultExtension());
             System.out.println("压缩算法的生成文件的扩展名："+codec.getDefaultExtension());
             System.out.println("解压后生成的文件名："+uncodecUrl);

             //在Hadoop中创建解压后的文件
             FSDataOutputStream out = fs.create(new Path(uncodecUrl));

             //创建输入数据流,并用CompressionCodec的createInputStream()方法，将输入数据流中读取的数据解压
             FSDataInputStream in = fs.open(new Path(hadoopdsc));
             CompressionInputStream codecIn = codec.createInputStream(in);

             //将输入数据流写入到 输出数据流
             IOUtils.copyBytes(codecIn, out, conf,true);

             //解压后/roboson目录下的文件列表
             files = fs.listStatus(new Path("/roboson/"));
             System.out.println("解压后");
             for (FileStatus fileStatus : files) {
                 System.out.println(fileStatus.getPath());
             }

             //查看解压后的内容
             System.out.println("解压后的内容：");
             in=fs.open(new Path(uncodecUrl));
             IOUtils.copyBytes(in,System.out, conf,true);
         } catch (IOException e) {
             // TODO Auto-generated catch block
             e.printStackTrace();
         }
     }
 }

运行结果：

2.原生类库

什么是 原生类库？就是本地类库（native），例如，Java也有实现的压缩和解压，但是如上所示，用到的gzip并非java实现，而是Linux系统自带的，我们都知道gzip是Linux中常用的压缩工具。Hadoop本身包含有32位和64位Linux构建的压缩代码库（位于lib/native目录）。对于其它平台，需要根据Hadoop wiki的指令更具需要来编译代码库。

可以通过Java系统的java.library.path属性来指定原生代码库。bin文件夹中的hadoop脚本可以设置这个属性。默认情况下，Hadoop会根据自身运行的平台搜索原生代码库，如果找到相应的代码库就会自动加载。所以，无需为了使用原声代码库而修改任何设置。还有为了性能，最好使用原生类库来实现压缩和解压缩，因为效率更高！Hadoop中的压缩哪些是原生实现的，哪些是Java实现的？

压缩代码库的实现

压缩格式	Java实现	原生实现
DEFLATE	是	是
gzip	是	是
gzip2	是	否
LZO	否	是