Map/Reduce之间的Partitioner接口

一、Partitioner介绍

Partitioner的作用是对Mapper产生的中间结果进行分片，以便将同一分组的数据交给同一个Reduce处理，它直接影响Reduce阶段的负载均衡（个人理解：就是按照Reduce的个数，将Mapper产生的中间结果按照关键字送给不同的Reduce，Reduce对相同关键字的数据进行处理）。

Partitioner在Map/Reduce中所处的位置，如下：

二、Partitioner的源代码解析

将相同关键字Key送到哪个Reduce上处理。

 public abstract class Partitioner<KEY, VALUE> {

   /**
    * Get the partition number for a given key (hence record) given the total
    * number of partitions i.e. number of reduce-tasks for the job.
    * 通过给定总的分区数(即一般为Reduce的个数)，获得每个关键字Key所对应的分区（所对应的Reduce上）。
    * <p>Typically a hash function on a all or a subset of the key.</p>
    *
    * @param key the key to be partioned. 关键字
    * @param value the entry value.
    * @param numPartitions the total number of partitions. 一般是Reduce的个数
    * @return the partition number for the <code>key</code>. 哪个Reduce
    */
   public abstract int getPartition(KEY key, VALUE value, int numPartitions);

 }

三、常用的Partitioner方法

1、HashPartitioner

HashPartitioner是MapReduce中Partitioner的默认实现。他是基于哈希值的分片方法。实现如下：

 public class HashPartitioner<K, V> extends Partitioner<K, V> {

     /** Use {@link Object#hashCode()} to partition.
      * key.hashCode()得到关键字Key的哈希值，numReduceTasks为Reduce的个数
      * 这样可以将相同关键字Key的所有数据送给哪个Reduce
      **/
     public int getPartition(K key, V value, int numReduceTasks) {
         return (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks;
     }

 }

2、TotalOrderPartitioner

TotalOrderPartitioner是基于区间的分片方法，通常用在全排序中。