Hadoop 排序

　　数据排序是许多实际任务在执行时要完成的第一项工作，比如学生成绩评比、数据建立索引等。这个实例和数据去重类似，都是先对原始数据进行初步处理，为进一步的数据操作打好基础。

1.实例描述

　　对输入文件中的数据进行排序。输入文件中的每行内容均为一个数字，即一个数据。要求在输出中每行有两个间隔的数字，其中，第二个数字代表原始数据，第一个数字这个原始数据在原始数据集中的位次。

　　样例输入：

　　file1:

　　2
　　32
　　654
　　32
　　15
　　756
　　65223

　　file2:

　　5956
　　22
　　650
　　92

　　file3:

　　26
　　54
　　6

　　样例输出：

　　

2.设计思路

　　这个实例仅仅要求对输入数据进行排序，熟悉MapReduce过程的读者很快会想到在MapReduce过程中就有排序。是否可以利用这个默认的排序、而不需要自己在实现具体的排序呢？答案是肯定的。但是在使用之前首先要了解MapReduce过程中的默认排序规则。它是按照key值进行排序，如果key为封装int的IntWritable类型，那么MapReduce按照数字大小对key排序；如果key为封装String的Text类型，那么MapReduce按照字典顺序对字符串排序。需要注意的是，Reduce自动排序的数据仅仅是发送到自己所在节点的数据，使用默认的排序并不能保证全局的顺序，因为在排序前还有一个partition的过程，默认无法保证分割后各个Reduce上的数据整体是有序的。所以要想使用默认的排序过程，还必须定义自己的Partition类，保证执行Partition过程之后所有Reduce上的数据在整体上是有序的，然后再对局部Reduce上的数据进行默认排序，这样才能保证所有数据有序。了解了这个细节，我们就知道，首先应该使用封装int的IntWritable型数据结构，也就是将读入的数据在Map中转化为IntWritable型，然后作为key值输出（value任意）；其次需要重写partition，保证整体有序，具体做法是用输入数据的最大值除以系统partition数量的商作为分割数据的边界增量，也就是说分割数据的边界为此商的1倍、2倍至numPartitions-1倍，这样就能保证执行partition后的数据是整体有序的；然后Reduce获得<key,value-list>之后，根据value-list中元素的个数将输入的key作为value的输出次数，输出的key是一个全局变量，用于统计当前key的位次。需要注意的是，这个程序中没有配置Combiner，也就是说在MapReduce过程中不使用Combiner。这主要是因为使用Map和Reduce就已经能够完成任务了。

3.程序代码：

　　程序代码如下：

 import java.io.IOException;

 import org.apache.hadoop.conf.Configuration;
 import org.apache.hadoop.fs.Path;
 import org.apache.hadoop.io.IntWritable;
 import org.apache.hadoop.io.Text;
 import org.apache.hadoop.mapreduce.Job;
 import org.apache.hadoop.mapreduce.Mapper;
 import org.apache.hadoop.mapreduce.Partitioner;
 import org.apache.hadoop.mapreduce.Reducer;
 import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
 import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
 import org.apache.hadoop.util.GenericOptionsParser;

 public class Sort {

     // map将输入中的value转化成IntWritable类型，作为输出的key
     public static class Map extends Mapper<Object, Text, IntWritable, IntWritable>{
         private static IntWritable data = new IntWritable();
         @Override
         protected void map(Object key, Text value,Mapper<Object, Text, IntWritable, IntWritable>.Context context)
                 throws IOException, InterruptedException {
             // super.map(key, value, context);
             String line = value.toString();
             data.set(Integer.parseInt(line));
             context.write(data, new IntWritable(1));
         }
     }
     // reduce 将输入的key复制到输出的value上，然后根据输入的 value-list 中元素的个数决定key的输出次数
     // 用全局linenum来代表key的位次
     public static class Reduce extends Reducer<IntWritable, IntWritable, IntWritable, IntWritable>{
         private static IntWritable linenum = new IntWritable(1);
         @Override
         protected void reduce(IntWritable key,    Iterable<IntWritable> values,Reducer<IntWritable, IntWritable, IntWritable, IntWritable>.Context context)
                 throws IOException, InterruptedException {
             // super.reduce(arg0, arg1, arg2);
             for(IntWritable val : values){
                 context.write(linenum, key);
                 linenum = new IntWritable(linenum.get()+1);
             }
         }
     }
     // 自定义Partition函数，此函数根据输入数据的最大值和 MapReduce 框架中 Partition 的数量获取将输入数据按照大小分块的边界，
     //然后根据输入数值和边界的关系返回对应的 Partition ID
     public static class Partition extends Partitioner<IntWritable, IntWritable>{
         @Override
         public int getPartition(IntWritable key, IntWritable value, int numPartitions) {
             int Maxnumber = 65223;
             int bound = Maxnumber/numPartitions + 1;
             int keynumber = key.get();
             for (int i = 0; i < numPartitions; i++) {
                 if (keynumber < bound * (i+1) && keynumber >= bound *i) {
                     return i;
                 }
             }
             return -1;
         }
     }
     public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
         Configuration conf = new Configuration();
         String[] otherArgs = new GenericOptionsParser(conf,args).getRemainingArgs();
         if(otherArgs.length!=2){
             System.out.println("Usage:Score Avg");
             System.exit(2);
         }
         Job job = new Job(conf,"Sort");
         job.setJarByClass(Sort.class);
         job.setMapperClass(Map.class);
         job.setPartitionerClass(Partition.class);
         job.setReducerClass(Reduce.class);
         job.setOutputKeyClass(IntWritable.class);
         job.setOutputValueClass(IntWritable.class);

         FileInputFormat.addInputPath(job, new Path(args[0]));
         FileOutputFormat.setOutputPath(job, new Path(args[1]));

         System.exit(job.waitForCompletion(true)?0:1);
     }

 }