====================== MapReduce实现 ======================

Input: 一系列key/value对

用户提供两个函数实现:

　　map(k,v) ->list(k1,v1)

　　reduce(k1, list(v1)) -> v2

(k1,v1) 是中间key/value结果对

Output：一系列(k2,v2)对

====================== MapReduce编程模型 ======================

MapReduce将作业的整个运行过程分为两个阶段： Map阶段和Reduce阶段

Map阶段由一定数量的Map Task组成

　　输入数据格式解析：InputFormat

　　输入数据处理：Mapper

　　数据分组：Partitioner

Reduce阶段由一定数量的Reduce Task组成

　　数据远程拷贝

　　数据按照key排序

　　数据处理：Reducer

　　数据输出格式：OutputFormat

====================== MapReduce编程模型 ======================

Map阶段 ------------->

InputFormat（默认TextInputFormat）

Mapper

Combiner（local reducer）

Partitioner

Reduce阶段 ------------->

Reducer

OutputFormat（默认TextOutputFormat）

MapReduce02的更多相关文章

  1. MapReduce02 序列化

    目录 MapReduce 序列化 概述 自定义序列化 常用数据序列化类型 int与IntWritable转化 Text与String 序列化读写方法 自定义bean对象实现序列化接口(Writable ...

随机推荐

  1. NVIDIA各个领域芯片现阶段的性能和适应范围

    NVIDIA作为老牌显卡厂商,在AI领域深耕多年.功夫不负有心人,一朝AI火,NVIDIA大爆发,NVIDIA每年送给科研院所和高校的大量显卡,大力推广Physix和CUDA,终于钓了产业的大鱼. 由 ...

  2. 【sqli-labs】 对于less34 less36的宽字节注入的一点深入

    1.AddSlashes() 首先来观察一下是如何通过构造吃掉转义字符的 先将less 34的网页编码换成gbk 加上一些输出 echo "Before addslashes(): &quo ...

  3. Intel Processor Exception Handling

    当一个进程的行为超出预期时,系统将把它kill掉. On Intel IA-32 and Intel 64 architecture processors, each architecturally- ...

  4. DiscuzX2.5数据库字典 值得学习

    pre_common_admincp_cmenu – 后台菜单收藏表title => ‘菜单名称’url => ‘菜单地址’sort => ’0′ COMMENT ‘菜单类型,备用’ ...

  5. 微信浏览器播放音频的问题：preload属性

    测试工具:ios微信. h5的Audio对象有个很重要的属性:preload;preload 属性规定是否在页面加载后载入音频.有4个值:auto - 当页面加载后载入整个音频meta - 当页面加载 ...

  6. eclipse配置Tomcat服务器server locations的方法

    最近放弃了使用Myeclipse,转而使用eclipse作为开发工具,确实Myeclipse集成了太多东西,使得开发人员的配置越来越少,这不是个好事,使用eclipse后,有些地方就得自己去配置,比如 ...

  7. C语言scanf函数详细解释(转载)

    原文地址:https://blog.csdn.net/21aspnet/article/details/174326 scanf 函数名: scanf 功 能: 执行格式化输入 用 法: int sc ...

  8. saltstack(五) saltstack的state状态管理

    一,YAML语法 首先先了解一下YAML,默认的SLS文件的renderer是YAML renderer.YAML是一个有很多强大特性的标记性语言.Salt使用了一个YAML的小型子集,映射非常常用的 ...

  9. Spring 使用注解注入 学习（四）

    <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.sp ...

  10. 威纶通 与 信捷XC\XD系列PLC 通讯

    第一次使用信捷XD系列PLC正式做个项目,用的触摸屏为威纶通的 MT6071iP (注意:下面内容同样适用于 信捷XC系列PLC ,除信捷XC与XD系列编程软件不一样,其余接线设置实测均一样 ) 目前 ...