====================== MapReduce实现 ======================

Input: 一系列key/value对

用户提供两个函数实现:

　　map(k,v) ->list(k1,v1)

　　reduce(k1, list(v1)) -> v2

(k1,v1) 是中间key/value结果对

Output：一系列(k2,v2)对

====================== MapReduce编程模型 ======================

MapReduce将作业的整个运行过程分为两个阶段： Map阶段和Reduce阶段

Map阶段由一定数量的Map Task组成

　　输入数据格式解析：InputFormat

　　输入数据处理：Mapper

　　数据分组：Partitioner

Reduce阶段由一定数量的Reduce Task组成

　　数据远程拷贝

　　数据按照key排序

　　数据处理：Reducer

　　数据输出格式：OutputFormat

====================== MapReduce编程模型 ======================

Map阶段 ------------->

InputFormat（默认TextInputFormat）

Mapper

Combiner（local reducer）

Partitioner

Reduce阶段 ------------->

Reducer

OutputFormat（默认TextOutputFormat）

MapReduce02的更多相关文章

  1. MapReduce02 序列化

    目录 MapReduce 序列化 概述 自定义序列化 常用数据序列化类型 int与IntWritable转化 Text与String 序列化读写方法 自定义bean对象实现序列化接口(Writable ...

随机推荐

  1. SpringBoot(1.5.6.RELEASE)源码解析

    转自 https://www.cnblogs.com/dylan-java/p/7450914.html 启动SpringBoot,需要在入口函数所在的类上添加@SpringBootApplicati ...

  2. Beta冲刺提交-星期四

    这个作业属于哪个课程 软件工程 这个作业要求在哪里 <作业要求的链接> 团队名称 唱跳RAP编程 这个作业的目标 1.进行每日例会,每个成员汇报自己今天完成     的工作,PM安排明天的 ...

  3. CAD控件：梦想CAD控件功能更新 清除图上的所有高亮实体

    1,修正得组里面的实体,把删除实体也返回的错误   2,修正代理实体改不了颜色问题.   3,修正捕捉块插入点,有时会跑到很远的位置问题.   4.MxDrawChange类增加ToBlockRefe ...

  4. 四角递推(CF Working out,动态规划递推)

    题目:假如有A,B两个人,在一个m*n的矩阵,然后A在(1,1),B在(m,1),A要走到(m,n),B要走到(1,n),两人走的过程中可以捡起格子上的数字,而且两人速度不一样,可以同时到一个点(哪怕 ...

  5. (七)python3 切片

    切片:取一个 list 或 tuple 的部分元素是非常常见的操作 >>> L = ['Michael', 'Sarah', 'Tracy', 'Bob', 'Jack'] #笨办法 ...

  6. Python面向对象之面向对象基本概念

    面向过程和面向对象概念 过程和函数:过程类似于函数,只能执行,但是没有返回结果:函数不仅能执行,还能返回结果. 面向过程和面向对象 基本概念 面向过程-怎么做 把完成某一个需求的所有步骤从头到尾逐步实 ...

  7. * average vector from multiple files--Matlab

    n=359;a=[];b=[];c=[];% for loopfor i=1:n      filename=sprintf('output_%d.dat',i);    fileinfo = imp ...

  8. nagios添加check_logfiles监控注意事项

    为被监控机器添加日志监控,需注意: 1.确认被监控机器/usr/local/nagios/libexec下是否已存在check_logfiles插件,如没有,需要copy进来: 2.确认被监控机器/u ...

  9. noip模拟赛 蒜头君的树

    分析:这道题问的是树上整体的答案,当然要从整体上去考虑. 一条边对答案的贡献是这条边一端连接的点的个数*另一端连接的点的个数*边权,可以用一次dfs来统计答案,之后每次更改操作在原答案的基础上增减就好 ...

  10. codevs 1296 营业额统计 （splay 点操作）

    题目大意 每次加入一个值,并且询问之前加入的数中与该数相差最小的值. 答案输出所有相差值的总和. 解题分析 = = 参考程序 #include <bits/stdc++.h> using ...