Hadoop-MR[会用]MR程序的运行模式

1.简介
　　现在很少用到使用MR计算框架来实现功能，通常的做法是使用hive等工具辅助完成。
但是对于其底层MR的原理还是有必要做一些了解。

2.MR客户端程序实现套路

　　这一小节总结归纳编写mr客户端程序的一般流程和套路。将以wordcount为例子进行理解。

　　运行一个mr程序有三种模式，分别为：本地模式，本地集群模式，命令行集群模式

3.代码实现

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

/**
 * 新API中对job提交类的建议写法
 *
 */
public class WordCountDriver extends Configured implements Tool{

    /**
     * 在run方法中对job进行封装
     */
    @Override
    public int run(String[] args) throws Exception {
        Configuration conf = new Configuration();

        //先构造一个用来提交我们的业务程序的一个信息封装对象
        Job job = Job.getInstance(conf);

        //指定本job所采用的mapper类
        job.setMapperClass(WordCountMapper.class);
        //指定本job所采用的reducer类
        job.setReducerClass(WordCountReducer.class);

        //指定我们的mapper类输出的kv数据类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(LongWritable.class);

        //指定我们的reducer类输出的kv数据类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(LongWritable.class);

        //指定我们要处理的文件所在的路径
        FileInputFormat.setInputPaths(job, new Path("/Users/apple/Desktop/temp/data/input/"));

        //指定我们的输出结果文件所存放的路径
        FileOutputFormat.setOutputPath(job, new Path("/Users/apple/Desktop/temp/data/output"));

        return job.waitForCompletion(true)? :;
    }

    public static void main(String[] args) throws Exception {

        int res = ToolRunner.run(new Configuration(), new WordCountDriver(), args);
        System.exit(res);

    }

    //在hadoop中，普通的java类不适合做网络序列化传输，hadoop对java的类型进行了封装，以便于利用hadoop的序列化框架进行序列化传输
    public static class WordCountMapper extends Mapper<LongWritable, Text, Text, LongWritable> {

        /**
         * map方法是每读一行调用一次
         */
        @Override
        protected void map(LongWritable key, Text value,Context context)
                throws IOException, InterruptedException {

            //拿到一行的内容
            String line = value.toString();
            //切分出一行中所有的单词
            String[] words = line.split(" ");
            //输出<word,1>这种KV对
            for(String word:words){
                //遍历单词数组，一对一对地输出<hello,1>  <tom,1> .......
                context.write(new Text(word), new LongWritable());

            }
        }
    }

    public static class WordCountReducer extends Reducer<Text, LongWritable, Text, LongWritable>{
        /**
         * reduce方法是每获得一个<key,valueList>,执行一次
         */
        //key ： 某一个单词 ，比如  hello
        //values：  这个单词的所有v，  封装在一个迭代器中，可以理解为一个list{1,1,1,1.....}
        @Override
        protected void reduce(Text key, Iterable<LongWritable> values,Context context)
                throws IOException, InterruptedException {

            long count = ;
            //遍历该key的valuelist，将所有value累加到计数器中去
            for(LongWritable value:values){
                count += value.get();

            }

            context.write(key, new LongWritable(count));
        }

    }
}

　　　　

3. 本地模式运行

　　　　使用eclipse编完代码后直接即可运行，但是此种运行只发生在本地，并不会被提交到集群环境运行，换句话说在yarn的web上是无法查询到这个任务的。

　　这种模式的好处在于可以方便的debug。

　　　　在此种模式下输入和输出的路径可以指定为本地路径，也可以指定为hdfs路径。如果使用本地路径则上述代码即可执行。当指定为hdfs路且hdfs集群的配置为hadoop2.x的主备

　　模式的话则需要引入hdfs-site.xml文件（因为主备模式下hdfs的url是一个service，需要通过配置文件才能解析这个url）：

　　下述例子为指定hdfs路径为输入输出源头，需要引入xml文件到classpath

        //指定我们要处理的文件所在的路径
        FileInputFormat.setInputPaths(job, new Path("hdfs://ns1/wordcountData/input"));

        //指定我们的输出结果文件所存放的路径
        FileOutputFormat.setOutputPath(job, new Path("hdfs://ns1/wordcountData/output"));

　　input路径下的文件内容为：

[hadoop@xufeng- temp]$ hadoop fs -cat /wordcountData/input/words.txt
// :: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
aaa bbb
ccc ddd
aaa ccc
ddd eee
eee
ggg ggg hhh
aaa
[hadoop@xufeng- temp]$

　　通过eclipse启动的时候会有权限问题，可以在vm中指定用户名：

　　

　　启动程序，在日志中我们可以看到当前mr是通过本地模式执行的，在查看yarn的监控web，并没有这个任务的记录。

-- ::, INFO  [Thread-] mapred.LocalJobRunner (LocalJobRunner.java:runTasks()) - Waiting for map tasks

　　在输出文件夹中查看结果：

[hadoop@xufeng- temp]$ hadoop fs -ls /wordcountData/output
// :: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found  items
-rw-r--r--    hadoop supergroup           -- : /wordcountData/output/_SUCCESS
-rw-r--r--    hadoop supergroup          -- : /wordcountData/output/part-r-
[hadoop@xufeng- temp]$ hadoop fs -cat /wordcountData/output/part-r-
// :: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
aaa
bbb
ccc
ddd
eee
ggg
hhh
[hadoop@xufeng- temp]$

4. 本地集群模式运行

　　在eclipse中我们可以直接让程序在集群中运行（如yarn集群）上运行，免去打包等繁琐工作，要想让本地运行的关键需要引入mapred-site.xml 和yarn-site.xml文件

　　目的是让本地程序知道当前mr是在什么框架下执行的，并且要知道集群的信息。

　　由于如下原因暂未解决：

Diagnostics: File file:/tmp/hadoop-yarn/staging/apple/.staging/job_1469738198989_0009/job.splitmetainfo does not exist
java.io.FileNotFoundException: File file:/tmp/hadoop-yarn/staging/apple/.staging/job_1469738198989_0009/job.splitmetainfo does not exist
    at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:)
    at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:)
    at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:)
    at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:)

5. 命令行集群模式运行

　　这种模式的运行既是将程序打成jar文件后，放到集群环境上去，通过hadoop jar命令来运行，这模式下运行的任务将运行在集群上。

　　这种模式非常简单，但是需要在run()方法中指定：

        job.setJarByClass(WordCountDriver.class);

　　否则会出现mapper类无法找到的错误。通过这个模式我们无需使用任何配置文件，在eclipse中将程序打包后传上集群主机。使用如下命令即可执行：

hadoop jar wordcount.jar WordCountDriver

　　运行日志：

// :: INFO mapreduce.Job:  map % reduce %
// :: INFO mapreduce.Job:  map % reduce %
// :: INFO mapreduce.Job:  map % reduce %
// :: INFO mapreduce.Job: Job job_1469738198989_0014 completed successfully
// :: INFO mapreduce.Job: Counters:
    File System Counters
        FILE: Number of bytes read=
        FILE: Number of bytes written=
        FILE: Number of read operations=
        FILE: Number of large read operations=
        FILE: Number of write operations=
        HDFS: Number of bytes read=

　　查看yarn上的监控web：

集中模式的介绍完毕。