自己的第一个MapReduce程序

数据源：来自互联网招聘hadoop岗位的薪资数据，其中几行示例数据如下:

美团    3-5年经验   15-30k  北京    【够牛就来】hadoop高级工程...
北信源  3-5年经验   15-20k  北京    Java高级工程师（有Hadoo...
蘑菇街  3-5年经验   10-24k   杭州    hadoop开发工程师
晶赞科技    1-3年经验   10-30k  上海    hadoop研发工程师
秒针系统    3-5年经验   10-20k  北京    hadoop开发工程师
搜狐    1-3年经验   18-23k  北京    大数据平台开发工程师（Hadoo...
执御    1-3年经验   8-14k   杭州    hadoop工程师
KK唱响  3-5年经验   15-30k  杭州    高级hadoop开发工程师
晶赞科技    1-3年经验   12-30k  上海    高级数据分析师（hadoop）
亿玛在线（北京）科技有限公司    3-5年经验    18-30k  北京    hadoop工程师
酷讯    1-3年经验   10-20k  北京    hadoop Engineer/...
游族网络    5-10年经验  20-35k  上海    hadoop研发工程师
易车公司    3-5年经验   15-30k  北京    hadoop工程师
爱图购  1-3年经验   8-15k   杭州    hadoop开发工程师
晶赞科技    3-5年经验   15-33k  上海    hadoop研发工程师

功能需求：基于这份数据统计Hadoop工程师各工作年限段的薪资水平，输出如下：

1-3年经验    8-30k
3-5年经验    10-33k
5-10年经验    20-35k　

import java.io.IOException;
import java.util.regex.Pattern;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

/**
 * 基于样本数据做Hadoop工程师薪资统计：计算各工作年限段的薪水范围
 */
public class SalaryCount extends Configured implements Tool {

    public static class SalaryMapper extends Mapper< LongWritable, Text, Text, Text> {
         public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
             //红色自己编写
             //示例数据：美团  3-5年经验  15-30k 北京   hadoop高级工程
             String line = value.toString();//读取每行数据

　　　　　　　 String[] record = line.split( "\\s+");//使用空格正则解析数据
　　　　　　　 //key=record[1]：输出3-5年经验
 　　　　　　  //value=record[2]：15-30k
 　　　　　    //作为Mapper输出，发给 Reduce 端
　　　　　　　　if(record.length >= 3){
　　　　　　　　context.write( new Text(record[1]), new Text(record[2]) 
　　　　　　　);
  　　　　}
      }
    }
    public static class SalaryReducer extends Reducer< Text, Text, Text, Text> {
         public void reduce(Text Key, Iterable< Text> Values, Context context) throws IOException, InterruptedException {

             int low = 0;//记录最低工资
             int high = 0;//记录最高工资
             int count = 1;
             //针对同一个工作年限（key），循环薪资集合（values），并拆分value值，统计出最低工资low和最高工资high
             for (Text value : Values) {
     　　　　String[] arr = value.toString().split("-");
     　　　　int l = filterSalary(arr[0]);
     　　　　int h = filterSalary(arr[1]);
     　　　　if(count==1 || l< low){
      　　　　   low = l;
     　　　　}
     　　　　if(count==1 || h>high){
        　　　　 high = h;
    　　　　 }
     　　　　count++;
 　　　　　　}
 　　　　　　context.write(Key, new Text(low + "-" +high + "k"));
        　　}
    }
    //正则表达式提取工资值
    public static int filterSalary(String salary) {
        String sal = Pattern.compile("[^0-9]").matcher(salary).replaceAll("");
        return Integer.parseInt(sal);
    }

    @Override
    public int run(String[] args) throws Exception {
        Configuration conf = new Configuration();//读取配置文件

        Path out = new Path(args[1]);
        FileSystem hdfs = out.getFileSystem(conf);
        if (hdfs.isDirectory(out)) {//删除已经存在的输出目录
            hdfs.delete(out, true);
        }

        Job job = new Job(conf, "SalaryCount" );//新建一个任务
        job.setJarByClass(SalaryCount.class);// 主类

        FileInputFormat.addInputPath(job, new Path(args[0]));// 文件输入路径
        FileOutputFormat.setOutputPath(job, new Path(args[1]));// 文件输出路径

        job.setMapperClass(SalaryMapper.class);// Mapper
        job.setReducerClass(SalaryReducer.class);// Reducer

        job.setOutputKeyClass(Text.class);//输出结果key类型
        job.setOutputValueClass(Text.class);//输出结果的value类型

        job.waitForCompletion(true);//等待完成退出作业

        return 0;
    }

    /**
     * @param args 输入文件、输出路径，可在Eclipse中Run Configurations中配Arguments，如：
     * hdfs://single.hadoop.dajiangtai.com:9000/junior/salary.txt
     * hdfs://single.hadoop.dajiangtai.com:9000/junior/salary-out/
     */
    public static void main(String[] args) throws Exception {
        try {
            int res = ToolRunner.run(new Configuration(), new SalaryCount(), args);
            System.exit(res);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

总结，通过左右对比可看出，70%的代码几乎一样，重要的是修改map、reduce部分，以及run方法中的部分设置。好了，在你搭建好的Eclipse开发环境中跑一下这个程序看看结果吧。