hadoop排序 -- 全排序

目录　　　　　　

一、关于Reducer全排序

　　1.1、　　什么叫全排序

　　1.2、　　分区的标准是什么

二、全排序的三种方式

　　2.1、　　一个Reducer

　　2.2、　　自定义分区函数

　　2.3、　　采样

---

　　一、关于Reducer全排序　　

1.1、什么叫全排序？

在所有的分区（Reducer）中，KEY都是有序的：

• 正确举例：如Reducer分区1中的key是1、3、4，分区2中的key是5、8、9
• 错误举例：如Reducer分区1中的key是1、3、4，分区2中的key是、7、9

---

1.2、数据分区的标准是什么？

默认的分区方式是根据mapper后的key的hash值，除以Reducer的分区数量，取其余数判定；例：

• 某key的hash值是999，此时有3个分区（Reducer），则999 % 3 = 0；则该key和其对应value会分在第一个区（同理，当余数为1，2时会分在对应的另外两个区）。

注意：若key的类型是Text类（或IntWritable等）的，则计算的是Text类型的key的hash值，而非通过Text获取到的String（或int等）类型的hash值。

也可自定义分区的判定方式，见下2.2、自定义分区函数

---

　　二、全排序的三种方式　　

• 一个Reduce
• 自定义分区函数
• 采样

2.1、一个Reduce

只有一个Reduce分区，自然是全排序效果

---

2.2、自定义分区函数

1. 创建一个继承Partitioner的类，如：Partition
2. 重写其”getPartition“方法，作为判断分区的依据
3. 在main的job中将其加入：job.setPartitionerClass(Partition.class);

以随机分区为例，伪代码如下：

 public class Partition extends Partitioner <Text,IntWritable>{

     @Override
     public int getPartition(Text text, IntWritable intWritable, int numPartitions) {
         Random r = new Random();
         //根据分区的数量（numPartitions），获取一个随机值返回，返回的值作为Key判断分区的依据
         int i = r.nextInt(numPartitions);
         return i;
     }
 }

 public class RandomAPP {
     public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
         ......

         //放判断放入分区的方式(随机放入)
         job.setPartitionerClass(Partition.class);

         ......

         //等待执行MapperReducer
         job.waitForCompletion(true)；
     }
 }

---

2.3、采样：TotalOrderPartition

• RandomSampler：随机采样 ，性能差，适合乱序数据
• IntervalSampler：间隔采样 ，性能较好，适合有序数据
• SplitSampler：切片采样 ，性能较好，适合有序数据

以随机采样为例，伪代码如下：

注:以下需要放在App中设置配置文件的后面

         //在App中指定分区函数类
         job.setPartitionerClass(TotalOrderPartition.class);

         //设置文件的写入路径
         TotalOrderPartition.setPartitionFile(job.getConfiguration(),new Path("E:/par.dat"));

         /**
          * 初始化采样器
          * RandomSampler    采用随机采样的方式
          * freq             每个Key被选中的概率     freq x key > 分区数
          * numSamples       需要的样本数           numSamples  > 分区数
          * maxSplitsSampled 文件最大切片数         maxSplitsSampled > 当前切片数
          */
         InputSampler.RandomSampler = new InputSampler.RandomSampler(freq, numsamples,maxsplitsSampled );

         //写入采样数据
         InputSampler.writePartitionFile(job,sampler);

---

　　　　Over