MapReduce和Hadoop流

MapReduce:分布式计算的框架

MapReduce是一个软件框架，可以将单个计算作业分配给多台计算机执行。

MapReduce在大量节点组成的集群上运行。它的工作流程是：单个作业被分成很多小份，输入数据也被切片分发到每个节点，各个节点只在本地数据上做运算，对应的代码称为mapper，这个过程被称作map阶段。每个mapper的输出通过某种方式组合(一般还会做排序)。排序后的结果再被分成小份分发到各个节点进行下一步处理工作。第二步的处理阶段被称为reduce阶段，对应的运行代码被称为reducer。reducer的输出就是程序的最终执行结果。

MapReduce的整个编配工作由主节点(master node)控制。这些主节点控制整个MapReduce作业编配，包括每份数据存放的节点位置，以及map,sort和reduce等阶段的时序控制等。此外，主节点还要包含容错机制。一般的，每份mapper的输入数据会同时分发到多个节点形成多份副本，用于事务的失效处理。

MapReduce的学习要点：

·主节点控制MapReduce的作业流程

·MapReduce的作业可以分成map任务和reduce任务

·map任务之间不做数据交流，reduce任务也一样

·在map和reduce阶段中间，有一个sort或combine阶段

·数据被重复放在不同的机器上，以防某个机器失效

·mapper和reducer传输的数据形式为key/value对

Hadoop流

Hadoop可以运行Java之外的其他语言编写的分布式程序。

Hadoop流很像Linux系统中的管道(管道使用符号|,可以将一个命令的输出作为另一个命令的输入)

例如：

cat inputFile.txt | python mapper.py | sort | python reducer.py > outputFile.txt