作业——11 分布式并行计算MapReduce

作业的要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3319

---

1.用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。

　　HDFS

　　　　功能

　　　　　　分布式文件系统，用来存储海量数据。

　　　　工作原理

　　　　1、HDFS集群分为两大角色：NameNode、DataNode  (Secondary Namenode)

　　　　2、NameNode负责管理整个文件系统的元数据

　　　　3、 DataNode 负责管理用户的文件数据块

　　　　4、 文件会按照固定的大小（blocksize）切成若干块后分布式存储在若干台datanode上

　　　　5、 每一个文件块可以有多个副本，并存放在不同的datanode上

　　　　6、Datanode会定期向Namenode汇报自身所保存的文件block信息，而namenode则会负责保持文件的副本数量

　　　　7、HDFS的内部工作机制对客户端保持透明，客户端请求访问HDFS都是通过向namenode申请来进行

　　　　工作过程

　　　　　　写操作　　　　

　　　　　　1、根namenode通信请求上传文件，namenode检查目标文件是否已存在，父目录是否存在

　　　　　　2、namenode返回是否可以上传

　　　　　　3、client请求第一个 block该传输到哪些datanode服务器上

　　　　　　4、namenode返回3个datanode服务器ABC

　　　　　　5、client请求3台dn中的一台A上传数据（本质上是一个RPC调用，建立pipeline），A收到请求会继续调用B，然后B调用C，将真个pipeline建立完成，逐级返回客户端

　　　　　　6、client开始往A上传第一个block（先从磁盘读取数据放到一个本地内存缓存），以packet为单位，A收到一个packet就会传给B，B传给C；A每传一个packet会放入一个应答队列等待应答

　　　　　　7、当一个block传输完成之后，client再次请求namenode上传第二个block的服务器。

　　　　　　读操作

　　　　　　1、跟namenode通信查询元数据，找到文件块所在的datanode服务器

　　　　　　2、挑选一台datanode（就近原则，然后随机）服务器，请求建立socket流

　　　　　　3、datanode开始发送数据（从磁盘里面读取数据放入流，以packet为单位来做校验）

　　　　　　4、客户端以packet为单位接收，现在本地缓存，然后写入目标文件

　　MapReduce

　　　　功能

　　　　　　并行处理框架，实现任务分解和调度。

　　　　工作原理

　　　　1、通过Job的submit（）方法创建一个JobSummiter实例，并且调用其submitJobInternal（）方法。

　　 　　2、作业提交给ResourceManager，从ResourceMananger处得到一个ApplicationID

　　　　3、JobClien检查Job的输出说明，计算输入分片，并将Job资源（包括运行的Jar包、配置和分片信息）复制到HDFS

　　　　 4、通过ResourceManager上的submitApplications进行作业提交

　　　　 5、ResourceManager收到submitApplication（）消息后，便将请求传递给调度器（scheduler）。调度器为其分配一个容器（Container），然后资源管理器在节点管理器（NodeManger）的管理下在Container中启动应用程序的master

　　　　6、初始化Job：通过创建多个簿记录对象以保持对作业进度的跟踪，因为它将接受来自任务的进度和完成报告

　　　　 7、接受HDFS在Client端计算的输入分片信息

　　　　8、连接ResourceManager，向ResourceManager进行资源申请

　　　　9、Application master 通过与节点管理器（NodeManager）进行通信启动Container，该任务有主类为YarnChiled的Java程序执行。

　　　　10、在第9步之前，需要将任务需要的资源本地化，包括运行的Jar包、配置和分片信息和HDFS的文件

　　　　11、最后运行map任务或reduce任务。

　　　　工作过程

　　　　MapReduce的工作过程分为两个步骤：map和reduce。每个阶段的输入输出都是key-value的形式，key和value的类型可以自行指定。map阶段对切分好的数据进行并行处理，处理结果传输给reduce，由reduce函数完成最后的汇总。

2.HDFS上运行MapReduce

　　1）准备文本文件，放在本地/home/hadoop/wc

　　2）编写map函数和reduce函数，在本地运行测试通过

　　3）启动Hadoop：HDFS, JobTracker, TaskTracker

　　4）把文本文件上传到hdfs文件系统上 user/hadoop/input

　　5）streaming的jar文件的路径写入环境变量，让环境变量生效

　　6）建立一个shell脚本文件：streaming接口运行的脚本，名称为run.sh

　　7）source run.sh来执行mapreduce

　　8）查看运行结果