换个角度理解云计算之MapReduce

　　上一篇简单讲了一下HDFS，简单来说就是一个叫做“NameNode”的大哥，带着一群叫做“DataNode”的小弟，完成了一坨坨数据的存储，其中大哥负责保存数据的目录，小弟们负责数据的真正存储，而大哥和小弟其实就是一台台的电脑，他们之间通过交换机，互相联系到了一起。

　　其实这位大哥和这群小弟不仅能存储数据，还能完成很多计算任务，于是他们有了新的名字，大哥叫做“JobTracker”，而小弟们叫做“TaskTracker”，一起组成了MapReduce。今天就来说说MapReduce是怎么一回事。

　　这里仅仅是从大面上去介绍，让大家有一个整体的认识，而整体上认识后，个别的细节知识自己再去看看别的资料，也就很容易理解了，只是时间问题而已。

　　刚开始学习MapReduce，肯定会被各种各样的概念整的晕头转向，到底尼玛任务、job、作业、Task有什么区别？split、数据分片、数据块、block到底什么区别？Map、Mapper、Map方法到底是不是一回事？到底Map输入的Key和Value是什么，是一行数据，还是一行行的数据？Reduce的输入到底尼玛是什么东西？他们之间到底是怎么一个数据流程？还出现了什么Sort、Merge、Shuffle？我了个去啊！！！

　　如果你也有这样的疑惑，那么下面听我慢慢道来吧，请记住两点：1.MapReduce是个框架，因此是很简单的，前先在脑子里面有这个观念。2.有了这个观念，就不要暴躁了，慢慢看下去吧。

　　为了说清MapReduce这个问题，我还是以经典的统计单词数量来一步步的说明。我来一步步的去说：

一、我们要干什么？

　　现在有一个文本文件，里面好多好多单词，文件有多大呢？别管它多大了，反正有很多行，我们要做的事情就是：统计出来到底这个文件里面每个单词出现的次数，最终输出结果到文件中。简单来说如下：

　　输入：一个有很多单词的文本文件。 　　　　

例如：文件为test.txt,文件内容如下：
hello world
hello hadoop
    .
    .
    .
    .
hello dog
hello world
hello jobs

　　输出：一个显示单词出现次数的文件。

例如：统计出来结果为：
hello
world
hadoop
jobs
    .
    .
    .
    .

二、编写程序

　　针对上面这件事，我们编写程序，程序名字叫MyWordCount，我们把程序提交给MapReduce，让大哥和小弟们去做，我们称之为一个作业，英文名叫做job。

三、程序做了什么

　　关键点来了。

1、文件分割

　　这么大一个数据文件test.txt,首先输入进来之后，会被分割成一块一块的，称之为一个个split。为了方便我们假设分成了5个split，分别是split1~5，说白了，可以认为是把test.txt分成了五个小文件split1~5，每个split里面有很多行数据。（到底输入文件怎么划分，可以看看InputSplit,可以设置的，这里我们就假设那个test.txt文件内容从上到下分成了5份）。接下来分别对这5个split进行单词的统计，叫做分布式运算。每一个split作为输入数据，给了一个Map，因此叫做Map任务，你也可以叫做Mapper，在编写程序里面Mapper是一个类，用了继承的。

　　因此，总结一下就是：一个文件，分成了split1~5五个数据分片，每个数据分片对应一个Map任务，共五个Map任务，分别为Map1~5。那么这5个任务让谁去干呢？大哥“JobTracker”说，小弟“Tasktracker”们去干吧。要是有5个小弟，一人一个Map任务，可是假如有三个小弟的话，那么其中两个小弟就必须多干一个任务。

（实际运行过程中，大概是每个小弟大约10到100个Map，对于CPU消耗较小的，大哥可能会给这个小弟分配300个左右）

2.Map操作

　　让我们把镜头拉进其中一个split的Map过程，假设是split1的Map1过程。

　　Split1有好多行数据，整体给了Map任务去操作。那么Map任务怎么操作呢？在程序里面其实就是一个Mapper类而已。因此真正实现操作的是Mapper类的其中的map方法来操作，map方法会对输入文件进行操作。那么问题来了，map方法的输入key和value是什么呢，是split1的所有数据还是某一行数据。答案是：某一行数据。那是怎么怎么处理完成那么多行数据的。答案是：运行多次map方法。

因此，总结一下就是：split1有很多行数据，map1任务去处理，对于每一行数据，运行一次map方法。

假如split1有三行：第一行：hello world   第二行：hello hadoop  第三行：hello hadoop。

经过Map1任务运行三次map方法，

第一次map方法的：

输入的key为1，value为：hello world（其中key的值是我瞎编的，value值是对的）。运行map方法里面的代码后

输出为：第一行：hello  1，第二行：world 1

第二次运行map方法的

输入的key为12，value为：hello hadoop，运行map方法后，

输出为：第一行：hello 1,，第二行：hadoop  1

第三次运行map方法

输入的key为23，value为：hello hadoop，运行map方法后，

输出为：第一行：hello 1，hadoop  1

最终，split1，经过一次Map1任务的好多次map方法运行后，最终输出结果可能如下：

hello
world
hello
hadoop
hello
hadoop    

最终，5个split1~5和5个map1~5输出了5份结果，分别存在了不同的节点上，以中间文件存在的，可能并不是知道它们在哪里。

接下来，就该进行Reduce的归并操作，最终统计出来结果，可是在Reduce之前，Map之后，还做了很多事情，下篇再写吧，这篇内容太长了。

（完）

文档信息

• 版权声明：自由转载-非商用-非衍生-保持署名（创意共享3.0许可证）
• 本文为原创文章，欢迎转载，后续本博客会不断更新，因此请保留该文档信息。
• 本文地址：http://www.cnblogs.com/wuguanglei/p/4034323.html