MapReduce 编程模板

1.MapReduce 编程模型的5个步骤：

　　1）迭代，将输入数据解析成 key/value 对；

　　2）将解析的 key/value经过Map处理映射成另一组key/value对；

　　3）根据key进行分组；

　　4）以分组为单位进行归约（Reduce 过程）；

　　5）迭代，输出最终结果。

2.MapReduce编程模型模板：

　　在进行编程过程只需改变Map（）和Reduce（）方法，如果没有Reduce过程时需要对run（）作适当调整。

 import java.io.IOException;
 import java.util.jar.JarException;
 import org.apache.hadoop.conf.Configuration;
 import org.apache.hadoop.conf.Configured;
 import org.apache.hadoop.fs.Path;
 import org.apache.hadoop.io.LongWritable;
 import org.apache.hadoop.io.NullWritable;
 import org.apache.hadoop.io.Text;
 import org.apache.hadoop.mapreduce.Job;
 import org.apache.hadoop.mapreduce.Mapper;
 import org.apache.hadoop.mapreduce.Reducer;
 import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
 import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
 import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
 import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
 import org.apache.hadoop.util.Tool;
 import org.apache.hadoop.util.ToolRunner;
 import org.apache.jasper.compiler.JavacErrorDetail;

 public class Example extends Configured implements Tool{

     enum Counter{
         LINESKIP; //输出错误行
     }

     /*MapClass
      * Mapper<
      * LongWritable            输入的 key
      * Text                 输入的 value
      * NullWritable／Text    输出的 key
      * Text                    输出的 value
      * >
      * */
     //public static class Map extends Mapper<LongWritable,Text,NullWritable,Text>   //没有Reduce过程时
     public static class Map extends Mapper<LongWritable,Text,Text,Text>{
         public void map(LongWritable key,Text value,Context context) throws IOException, InterruptedException
         {
             String mydata=value.toString();   //读取源数据
              try{
                 //数据处理
                 String[] mydataSplite=mydata.split("");  //数据切分
                 String aData=mydataSplite[0];
                 String bData=mydataSplite[1];

                 /*
                  * 没有Reduce过程时
                  * Text outText=new Text(aData+""+bData);
                  * context.write(new Text(aData), new Text(bData));  //输出 key/value ,NullWritable.get()避免输出制表符
                 */

                 context.write(new Text(aData), new Text(bData));  //输出 key/value
             }catch(java.lang.ArrayIndexOutOfBoundsException e)
             {
                 context.getCounter(Counter.LINESKIP).increment(1);  //出错计数＋1
                 return;
             }
         }
     }

     /*Reduce静态类
      * Reducer<
      * Text,    输入的 key
      * Text,    输入的 value
      * Text,    输出的 key
      * Text     输出的 value
      *
      * Reduce 的输入格式应与 Map的输出格式一致
      * >
      * */
     public static class Reduce extends Reducer<Text,Text,Text,Text>
     {
         public void reduce(Text key,Iterable<Text> values,Context context) throws IOException, InterruptedException
         {
             String valuString;
             String outString="";
             for (Text value : values)
             {
                 valuString=value.toString();
                 outString+=valuString+",";
             }
             context.write(key, new Text(outString));  //输出参数与定义格式一致，如果不是制表符分离的要换成空值
         }
     }

     /*run设置运行任务*/
     public int run(String[] args) throws Exception {
         Configuration conf = getConf();

         Job job = new Job(conf,"Example");   //作务名
         job.setJarByClass(Example.class);    //选择class

         FileInputFormat.setInputPaths(job, new Path(args[0]));    //输入路径
         FileOutputFormat.setOutputPath(job, new Path(args[1]));   //输出路径

         job.setMapperClass(Map.class);           //调用 Map class启动Map task
         job.setReducerClass(Reduce.class);       //调用 Reduce class 雇用 Reduce task
         job.setCombinerClass(Reduce.class);
         job.setInputFormatClass(TextInputFormat.class);    //输入格式
         job.setOutputFormatClass(TextOutputFormat.class);  //输出格式
         //job.setOutputKeyClass(NullWritable.class);       //没有Reduce过程时,输出 key 格式，应该与指定的格式一致
         job.setOutputKeyClass(Text.class);                 //输出 key 格式，应该与指定的格式一致
         job.setOutputValueClass(Text.class);               //输出 value 格式  

         System.exit(job.waitForCompletion(true)?0:1);
         return 0;
     }

     /*主函数入口*/
     public static void main(String[] args) throws Exception {
         int res = ToolRunner.run(new Configuration(),new Example(),args);
         System.exit(res);
     }

 }