Sample MultipleFileWordcount CombineFileInputFormat

在旧版本的samples中，使用的是旧的api，mapred下面的MultiFileInputFormat,现在已经过时。

现在推荐使用mapreduce下面的CombineInputFormat来处理。

应用场景：

如果文件数量大，而且单个文件又比较小，若是使用FileInputFormat进行分片，则会根据一个文件生成一个分片，

每个分片又丢给一个maptask,这样maptask处理的内容太小，很快就完成了，利用率不高，因为maptask本身启动

处理所占的时间和资源消耗就超过了信息处理本身所占的时间。推荐一个maptask至少运行一分钟左右。

解决方案：

使用combinefileinputformat来重定义了getSplits方法，这样可以根据我们指定的splitsize（一般是给定为blocksize大小，减少数据传输）

，打包多个小文件到一个inputsplit中去。这样减少了框架生成的maptask的数量。

示例：

例如我的englishwords目录下面有四个文件，使用wordcount示例来跑的话，默认生成4个maptask（不考虑失败又生成的maptask）一个reducetask.

使用旧版的api生成了2个maptask，使用新版的multiplefilewordcount示例生成了一个maptask.

CombineFileInputformat 中可以重写的一个重要方法是：

/**

   * Specify the maximum size (in bytes) of each split. Each split is

   * approximately equal to the specified size.

   */

  protected void setMaxSplitSize(long maxSplitSize) {

    this.maxSplitSize = maxSplitSize;

  }

示例中又自己写了一个数据结构wordoffset，是因为原来的只考虑一个文件（一个分片一个文件）中的信息，所以key是offset,value是当前行的值。

现在一个分片中会有多个文件，所以新的数据结构wordoffset就表示哪个文件的offset，这样更明晰。

有时候我们在项目中就需要自己定义maptask的参数。这个结构是需要实现writable接口的（可以序列化）。

使用CombineFileInputFormat最重要的就是实现 Reader的方法，Reader中最重要的就是next().

基本思路其实和单个文件的是类似的，只是在这种情况下需要处理多个文件的情况，需要有一个index来标志是正在处理哪个文件。

一般在combineReader里面会有如下的代码：

public static class CombineFileLineRecordReader

    extends RecordReader<WordOffset, Text> {

    private long startOffset; //offset of the chunk;

    private long end; //end of the chunk;

    private long pos; // current pos

    private FileSystem fs;

    private Path path;

    private WordOffset key;

    private Text value;

    private FSDataInputStream fileIn;

    private LineReader reader;

    public CombineFileLineRecordReader(CombineFileSplit split,

        TaskAttemptContext context, Integer index) throws IOException {

      this.path = split.getPath(index);

      fs = this.path.getFileSystem(context.getConfiguration());

      this.startOffset = split.getOffset(index);

      this.end = startOffset + split.getLength(index);

      boolean skipFirstLine = false;

      //open the file

      fileIn = fs.open(path);

      if (startOffset != 0) {

        skipFirstLine = true;

        --startOffset;

        fileIn.seek(startOffset);

      }

      reader = new LineReader(fileIn);

      if (skipFirstLine) {  // skip first line and re-establish "startOffset".

        startOffset += reader.readLine(new Text(), 0,

                    (int)Math.min((long)Integer.MAX_VALUE, end - startOffset));

      }

      this.pos = startOffset;

    }

…………