Map/Reduce的类体系架构

Map/Reduce案例解析:

  先以简单的WordCount例程, 来讲解如何去描述Map/Reduce任务.

public static void main(String[] args) throws Exception {
  // *) 创建Configuration类, 用于获取Map/Reduce的执行环境
  Configuration conf = new Configuration();
  // *) 对命令行参数进行解析
  String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
  if (otherArgs.length != 2) {
    System.err.println("Usage: wordcount <in> <out>");
  System.exit(2);
  }
  // *) 创建Job任务实例
  Job job = new Job(conf, "word count");
  job.setJarByClass(WordCount.class);
  // *) 设置Mapper类
  job.setMapperClass(TokenizerMapper.class);
  // *) 设置Combiner类
  job.setCombinerClass(IntSumReducer.class);
  // *) 设置Reducer类
  job.setReducerClass(IntSumReducer.class);
  // *) 设置输出结果的Key类型为Text
  job.setOutputKeyClass(Text.class);
  // *) 设置输出结果的Value类型为Text
  job.setOutputValueClass(IntWritable.class);   // *) 设置InputFormat和OutputFormat的HDFS路径
  FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
  FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
  // *) 等待Map/Reduce任务结束
  System.exit(job.waitForCompletion(true) ? 0 : 1);
}

  评注: 具体的一个Job需要设置Mapper和Reducer类, 来决定如何处理数据. 而对于InputFormat/OutputFormat则决定了其数据输入/输出源.

Mapper类的解析
  Mapper抽象类, 引入内部抽象类Context, 通过采用模板方法的设计模式.

public class Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT> {

  public abstract class Context
      implements MapContext<KEYIN,VALUEIN,KEYOUT,VALUEOUT> {
  }   protected void setup(Context context)
      throws IOException, InterruptedException {
  }   protected void map(KEYIN key, VALUEIN value, Context context)
      throws IOException, InterruptedException {
    context.write((KEYOUT) key, (VALUEOUT) value);
  }   protected void cleanup(Context context)
      throws IOException, InterruptedException {
  }   // *) 采用模板方法来实现
  public void run(Context context)
      throws IOException, InterruptedException {
  } }

  评注: setup扮演map初始化的工作, cleanup是map任务结束后的工作, 而map则是具体key/value对操作的处理函数.
  来具体看下map函数中精华run函数的定义:

// *) map阶段的初始化工作
setup(context);
try {
  // *) 循环遍历key/value对
  while (context.nextKeyValue()) {
    // *) 进行map回调处理
    map(context.getCurrentKey(),
      context.getCurrentValue(), context);
  }
} finally {
  // *) map阶段的清除工作
  cleanup(context);
}

  评注: 采用类模板方法的设计模式(setup, map, cleanup, 通过run函数合理的串联)

InputFormat类的构成
  InputFormat中最重要的两个类是InputSplit和RecordReader.
  *) InputSplit: 是Map数据源的一个分片, 对应于一个具体map任务.
  *) RecordReader: 针对一个具体的InputSplit, 封装的一个记录读取器.
  具体代码如下所示:

public abstract class InputFormat<K, V> {

  // *) 获取InputSplit, 用于Map数据的拆分依据
  public abstract List<InputSplit> getSplits(JobContext context)
        throws IOException, InterruptedException;
  // *) 针对InputSplit, 获取RecordReader类实例
  public abstract RecordReader<K,V> createRecordReader(
      InputSplit split, TaskAttemptContext context)
        throws IOException, InterruptedException; }

  评注: InputSplit数决定Map个数, 同时决定了数据的划分和规模, 而RecordReader则决定Key/Value的格式和具体数值. 这些概念对于数据的生成至关重要.

Reducer/OutputFormat
  Reducer类和Mapper类定义类似, OutputFormat类与InputFormat类似, 简略之.

总结:

该文还没有完结, 先占个坑....

Map/Reduce的类体系架构的更多相关文章

  1. Map/Reduce个人实战--生成数据测试集

    背景: 在大数据领域, 由于各方面的原因. 有时需要自己来生成测试数据集, 由于测试数据集较大, 因此采用Map/Reduce的方式去生成. 在这小编(mumuxinfei)结合自身的一些实战经历, ...

  2. Hadoop体系架构简介

    今天跟一个朋友在讨论hadoop体系架构,从当下流行的Hadoop+HDFS+MapReduce+Hbase+Pig+Hive+Spark+Storm开始一直讲到HDFS的底层实现,MapReduce ...

  3. mapreduce: 揭秘InputFormat--掌控Map Reduce任务执行的利器

    随着越来越多的公司采用Hadoop,它所处理的问题类型也变得愈发多元化.随着Hadoop适用场景数量的不断膨胀,控制好怎样执行以及何处执行map任务显得至关重要.实现这种控制的方法之一就是自定义Inp ...

  4. 分布式基础学习(2)分布式计算系统(Map/Reduce)

    二. 分布式计算(Map/Reduce) 分 布式式计算,同样是一个宽泛的概念,在这里,它狭义的指代,按Google Map/Reduce框架所设计的分布式框架.在Hadoop中,分布式文件 系统,很 ...

  5. [转]OpenContrail 体系架构文档

    OpenContrail 体系架构文档 英文原文:http://opencontrail.org/opencontrail-architecture-documentation/ 翻译者:@KkBLu ...

  6. 分布式基础学习【二】 —— 分布式计算系统(Map/Reduce)

    二. 分布式计算(Map/Reduce) 分布式式计算,同样是一个宽泛的概念,在这里,它狭义的指代,按Google Map/Reduce框架所设计的分布式框架.在Hadoop中,分布式文件系统,很大程 ...

  7. Thrift之TProcess类体系原理及源码详细解析

    我的新浪微博:http://weibo.com/freshairbrucewoo. 欢迎大家相互交流,共同提高技术. 之前对Thrift自动生成代码的实现细节做了详细的分析,下面进行处理层的实现做详细 ...

  8. Kafka体系架构详细分解

    我的个人博客排版更舒服: https://www.luozhiyun.com/archives/260 基本概念 Kafka 体系架构 Kafka 体系架构包括若干 Producer.若干 Broke ...

  9. Python-函数式编程-map reduce filter lambda 三元表达式 闭包

    lambda 匿名函数,核心是作为算子,处理逻辑只有一行但具有函数的特性,核心用于函数式编程中 三元运算符 其实本质上是if分支的简化版,满足条件返回 if 前面的值,不满足条件返回 else后面的值 ...

随机推荐

  1. java8Lambda详解

    [移步] http://blog.csdn.net/ioriogami/article/details/12782141/

  2. [vijos P1512] SuperBrother打鼹鼠

    这周好好码树状数组和线段树!!之前没写过二维树状数组,凭借一维的思路居然写了个比较像模像样的东西出来,原来我没那么脑残.唯一要注意的就是getsum四个矩形加减的边界条件,这里看了别人标程才意识到错误 ...

  3. C# Async/Await异步函数原理

    原理 与同步函数相比,CLR在执行异步函数时有几个不同的特点: 1.        并非一次完成,而且分多次完成 2.        并非由同一个线程完成,而是线程池每次动态分配一个线程来处理: 结合 ...

  4. C# ClickOnce deployment for Windows Services ClickOnce 部署windows service

    A simple solution that I use is to merely stop the service and x-copy the files from my bin folder i ...

  5. python3使用requests发闪存

    闪存ing.cnblogs.com是博客园类似推特.饭否的服务, 我写了以下程序可以完成发闪存的操作,目的是顺便练习使用requests库. requests是一个python 轻量的http客户端库 ...

  6. python解无忧公主数学题108

    """ python解无忧公主数学题108回文.py 题目来源: http://mp.weixin.qq.com/s?__biz=MzI5ODEwMDQyNw==& ...

  7. git——学习笔记(二)远程仓库

    GIT杀手锏之一——远程仓库 拥有远程仓库的两个办法 1:搭一个Git服务器  2:在GitHub上免费托管的Git仓库 本地仓库   远程仓库 一.在GitHub上免费托管的Git仓库 电脑: 1. ...

  8. 自适应label的高度

    iOS7以下的系统可使用方法 //获得当前cell高度 CGRect frame = [self frame]; //文本赋值 self.introduction.text = text; //设置l ...

  9. hdu 2047

    PS:又是上课偷懒..去递推.. 代码: #include "stdio.h"#include "math.h"long long dp[55];long lo ...

  10. 2016 - 1- 22 Build a Nav bar (intro to HTML&CSS)

    一:Learn how to build a NavBar --- allow user navigate ur site 1. The hypetext refrence link This att ...