MapReduce中使用SequenceFile的方式上传文件到集群中

HDFS上不适合存储小文件,因为如果有很多的小文件,上传到HDFS集群,每个文件都会对应一个block块,一个block块的大小默认是128M,对于很多的小文件来说占用了非常多的block数量,就会影响到内存的消耗,

MapReduce处理这些文件的话也是需要很多的Map来处理.

HDFS提供的小文件的解决方案可以使用SequenceFile和MapFile:

如果存在大量的小数据文件，可以使用SequenceFile.

同时使用SequenceFile还可以用SequenceFile自带的一些压缩算法来减少这些细小文件的占用空间.

1.使用SequenceFile相关代码把本地Windows上的很多小文件上传到HDFS集群.

 package seq;

 import java.io.File;
 import java.net.URI;

 import org.apache.commons.io.FileUtils;
 import org.apache.hadoop.conf.Configuration;
 import org.apache.hadoop.fs.FileSystem;
 import org.apache.hadoop.fs.Path;
 import org.apache.hadoop.io.BytesWritable;
 import org.apache.hadoop.io.SequenceFile;
 import org.apache.hadoop.io.Text;

 public class Test2 {
     public static void main(String[] args) throws Exception {
         Configuration conf = new Configuration();
         org.apache.hadoop.fs.FileSystem fs = FileSystem.newInstance(new URI("hdfs://crxy99:9000"),conf);
         Path out = new Path("/members.seq");//输出到HDFS的根目录下"/" 文件命名为memebers.seq
         SequenceFile.Writer writer = new SequenceFile.Writer(fs, conf, out, Text.class, BytesWritable.class);//文件名作为key 类型是Text  文件内容作为值上传上去,类型是BytesWritable

         File localDir = new File("F:\\360Downloads\\crxy\\video\\2016-05-10【mapreduce】 - 副本\\members2000");
         for (File file : localDir.listFiles()) {
             Text key = new Text(file.getName());
             BytesWritable val = new BytesWritable(FileUtils.readFileToByteArray(file));
             writer.append(key, val);
             System.out.println(file.getName());
         }
         writer.close();
     }
 }

程序运行之后查看HDFS目录:

通过Web浏览HDFS集群可以看到members.seq文件的大小是126.54MB....只占用一个block.

上传的是一个在Windows本地的members的文件.  Windows本地用户是ABC.

2.使用SequenceFile的block和record压缩算法进行上传文件的相关代码:

 import java.io.File;
 import java.net.URI;

 import org.apache.commons.io.FileUtils;
 import org.apache.hadoop.conf.Configuration;
 import org.apache.hadoop.fs.FSDataOutputStream;
 import org.apache.hadoop.fs.FileSystem;
 import org.apache.hadoop.fs.Path;
 import org.apache.hadoop.io.BytesWritable;
 import org.apache.hadoop.io.IOUtils;
 import org.apache.hadoop.io.SequenceFile;
 import org.apache.hadoop.io.SequenceFile.CompressionType;
 import org.apache.hadoop.io.Text;
 import org.apache.hadoop.io.compress.GzipCodec;

 public class Test1 {
     public static void main(String[] args) throws Exception {
         Configuration conf = new Configuration();
         org.apache.hadoop.fs.FileSystem fs = FileSystem.newInstance(new URI("hdfs://crxy99:9000"),conf);
         CompressionType type = null;
         if("record".equals(args[0])){
             type = CompressionType.RECORD;
         }
         if("block".equals(args[0])){
             type = CompressionType.BLOCK;
         }
         FSDataOutputStream out = fs.create(new Path(args[1]));
         SequenceFile.Writer writer = SequenceFile.createWriter(conf, out, Text.class, BytesWritable.class,type,new GzipCodec());

         File localDir = new File("/usr/local/hadoop_repo/files/members2000");
         for (File file : localDir.listFiles()) {
             Text key = new Text(file.getName());
             BytesWritable val = new BytesWritable(FileUtils.readFileToByteArray(file));
             writer.append(key, val);
             System.out.println(file.getName());
         }
         writer.close();
         IOUtils.closeStream(out);
     }
 }

结果仍然如上图,文件占用的空间更小.