编写自已的第一个MapReduce程序

从进入系统学习到现在，貌似我们还没有真正开始动手写程序，估计有些立志成为Hadoop攻城狮的小伙伴们已经有些急了。环境已经搭好，小讲也有些按捺不住了。今天，小讲就和大家一起来动手编写我们的第一个MapReduce程序。

小讲曾说过，写Hadoop程序，核心就是Mapper类，Reudcer类，run()方法，很多时候照葫芦画瓢就行了，今天我们就照Hadoop程序基础模板这个葫芦来“画个瓢” —— 写个MapReduce程序。

Hadoop程序模板（葫芦）

数据源：来自美国成百上千个气象站的气象数据，其中一个气象站的几行示例数据如下:

1985 07 31 02   200    94 10137   220    26     1     0 -9999
1985 07 31 03   172    94 10142   240     0     0     0 -9999
1985 07 31 04   156    83 10148   260    10     0     0 -9999
1985 07 31 05   133    78 -9999   250     0 -9999     0 -9999
1985 07 31 06   122    72 -9999    90     0 -9999     0     0
1985 07 31 07   117    67 -9999    60     0 -9999     0 -9999
1985 07 31 08   111    61 -9999    90     0 -9999     0 -9999
1985 07 31 09   111    61 -9999    60     5 -9999     0 -9999
1985 07 31 10   106    67 -9999    80     0 -9999     0 -9999
1985 07 31 11   100    56 -9999    50     5 -9999     0 -9999

功能需求：基于这份数据，统计美国每个气象站30年的平均气温，部分输出结果如下：

03103    82        //03103代表气象站编号，82代表平均气温（华氏）
03812    128
03813    178
03816    143
03820    173
03822    189
03856    160
03860    130
03870    156
03872    108

Hadoop模板程序：

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;
/**
 * 统计美国各个气象站30年来的平均气温
 */
public class Temperature extends Configured implements Tool {

    public static class TemperatureMapper extends Mapper< LongWritable, Text, Text, IntWritable> {
        public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            //数据示例：1985 07 31 02  200 94 10137 220 26 1 0 -9999
            String line = value.toString(); //读取每行数据
            int temperature = Integer.parseInt(line.substring(14, 19).trim());//气温值
            if (temperature != -9999) { //过滤无效数据
                FileSplit fileSplit = (FileSplit) context.getInputSplit();
                //通过文件名称获取气象站id
                String weatherStationId = fileSplit.getPath().getName().substring(5, 10);
                //map 输出
                context.write(new Text(weatherStationId), new IntWritable(temperature));
            }
        }
    }

    public static class TemperatureReducer extends
            Reducer< Text, IntWritable, Text, IntWritable> {

        private IntWritable result = new IntWritable();

        public void reduce(Text key, Iterable< IntWritable> values,
                Context context) throws IOException, InterruptedException {

            int sum = 0;
            int count = 0;
            //循环values,对统一气象站的所有气温值求和
            for (IntWritable val : values) {
                sum += val.get();
                count++;
            }
            //求每个气象站的平均值
            result.set(sum / count);
            //reduce输出  key=weatherStationId  value=mean(temperature)
            context.write(key, result);
        }
    }

    /**
     * @function 任务驱动方法
     * @param args
     * @return
     * @throws Exception
     */
    @Override
    public int run(String[] args) throws Exception {
        // TODO Auto-generated method stub
        Configuration conf = new Configuration();//读取配置文件

        Path mypath = new Path(args[1]);
        FileSystem hdfs = mypath.getFileSystem(conf);
        if (hdfs.isDirectory(mypath)) {//删除已经存在的输出目录
            hdfs.delete(mypath, true);
        }

        Job job = new Job(conf, "temperature");//新建一个任务
        job.setJarByClass(Temperature.class);// 主类

        FileInputFormat.addInputPath(job, new Path(args[0]));// 输入路径
        FileOutputFormat.setOutputPath(job, new Path(args[1]));// 输出路径

        job.setMapperClass(TemperatureMapper.class);// Mapper
        job.setReducerClass(TemperatureReducer.class);// Reducer

        job.setOutputKeyClass(Text.class);//输出结果的key类型
        job.setOutputValueClass(IntWritable.class);//输出结果的value类型

        job.waitForCompletion(true);//提交任务
        return 0;
    }

    /**
     * @function main 方法
     * @param args
     * @throws Exception
     */
    public static void main(String[] args) throws Exception {
        String[] args0 = {
                "hdfs://single.hadoop.dajiangtai.com:9000/weather/",
                "hdfs://single.hadoop.dajiangtai.com:9000/weather/out/"
                };
        int ec = ToolRunner.run(new Configuration(), new Temperature(), args0);
        System.exit(ec);
    }
}