Hadoop中的InputFormat解析

1、InputFormat

InputFormat是Hadoop平台上Mapreduce输入的规范，仅有两个抽象方法。

• List<InputSplit> getSplits()， 获取由输入文件计算出输入分片(InputSplit)，解决数据或文件分割成片问题。
• RecordReader<K,V> createRecordReader()，创建RecordReader，从InputSplit中读取数据，解决读取分片中数据问题。

InputFormat主要能完成下列工作：

1、Validate the input-specification of the job.  （首先验证作业的输入的正确性）

2、 Split-up the input file(s) into logical InputSplits, each of which is then assigned to an individual Mapper.（将输入的文件划分成一系列逻辑分片 

（InputSplit），一个InputSplit将会被分配给一个独立的MapTask ）

3、Provide the RecordReader implementation to be used to glean input records from the logical InputSplit for processing by the Mapper.（提供RecordReader实

现，读取InputSplit中的“K-V对”供Mapper使用）

InputFormat的源代码：

public abstract class InputFormat<K, V> {

  /**
   * 每个InputSplit的分片被分配到一个独立的Mapper上
   * 注：1、这个分片是逻辑上对输入数据进行分片，而实际上输入文件没有被切割成一个个小块。
   *     每个分片由输入文件的路径，起始位置，偏移量等
   *     2、在InputFormat中创建的RecordReader也要使用InputSplit
   */
  public abstract
    List<InputSplit> getSplits(JobContext context ) throws IOException, InterruptedException;

  /**
   * 为每个分片创建一个record reader
   */
  public abstract
    RecordReader<K,V> createRecordReader(InputSplit split,TaskAttemptContext context)
            throws IOException, InterruptedException;

2.InputSplit

     Mapper输入的是一个个分片，称InputSplit。在这个抽象类中，是将每个输入分片(Split)中的内容解析成K-V值。

InputSplit的源代码：

public abstract class InputSplit {
  /**
   * 得到每个分片的大小，可以按照分片大小排序。
   */
  public abstract long getLength() throws IOException, InterruptedException;

  /**
   * Get the list of nodes by name where the data for the split would be local.
   * The locations do not need to be serialized.
   * 获取存储该分片的数据所在的节点位置
   */
  public abstract String[] getLocations() throws IOException, InterruptedException;
}

2.1 下面看看InputSplit的一个子类，FileSplit类：

  public FileSplit() {}

   /** Constructs a split with host information
    *
    * @param file the file name
    * @param start the position of the first byte in the file to process
    * @param length the number of bytes in the file to process
    * @param hosts the list of hosts containing the block, possibly null
    */
   public FileSplit(Path file, long start, long length, String[] hosts) {
     this.file = file;
     this.start = start;
     this.length = length;
     this.hosts = hosts;
   }

   /** The file containing this split's data. */
   public Path getPath() { return file; }

   /** The position of the first byte in the file to process. */
   public long getStart() { return start; }

   /** The number of bytes in the file to process. */
   @Override
   public long getLength() { return length; }

   @Override
   public String toString() { return file + ":" + start + "+" + length; }

   ////////////////////////////////////////////
   // Writable methods
   ////////////////////////////////////////////

   @Override
   public void write(DataOutput out) throws IOException {
     Text.writeString(out, file.toString());
     out.writeLong(start);
     out.writeLong(length);
   }

   @Override
   public void readFields(DataInput in) throws IOException {
     file = new Path(Text.readString(in));
     start = in.readLong();
     length = in.readLong();
     hosts = null;
   }

   @Override
   public String[] getLocations() throws IOException {
     if (this.hosts == null) {
       return new String[]{};
     } else {
       return this.hosts;
     }
   } 

从源码中可以看出，FileSplit有四个属性：文件路径，分片起始位置，分片长度和存储分片的hosts。用这四项数据，就可以计算出提供给每个Mapper的分片数据。在InputFormat的getSplit()方法中构造分片，分片的四个属性会通过调用FileSplit的Constructor设置。

2.2再看一个InputSplit的子类：CombineFileSplit。源码如下：

为什么介绍该类呢，因为该类对小文件的处理是很有效的，所有深入理解该类，将有助于该节学习。

上面我们介绍的FileSplit对应的是一个输入文件，也就是说，如果用FileSplit对应的FileInputFormat作为输入格式，那么即使文件特别小，也是作为一个单独的InputSplit来处理，而每一个InputSplit将会由一个独立的Mapper Task来处理。在输入数据是由大量小文件组成的情形下，就会有同样大量的InputSplit，从而需要同样大量的Mapper来处理，大量的Mapper Task创建销毁开销将是巨大的，甚至对集群来说，是灾难性的！

CombineFileSplit是针对小文件的分片，它将一系列小文件封装在一个InputSplit内，这样一个Mapper就可以处理多个小文件。可以有效的降低进程开销。与FileSplit类似，CombineFileSplit同样包含文件路径，分片起始位置，分片大小和分片数据所在的host列表四个属性，只不过这些属性不再是一个值，而是一个列表。

需要注意的一点是，CombineFileSplit的getLength()方法，返回的是这一系列数据的数据的总长度。

现在，我们已深入的了解了InputSplit的概念，看了其源码，知道了其属性。我们知道数据分片是在InputFormat中实现的，接下来，我们就深入InputFormat的一个子类，FileInputFormat看看分片是如何进行的。

3 、FileInputFormat

FileInputFormat中，分片方法代码及详细注释如下，就不再详细解释该方法：