【大数据作业十一】分布式并行计算MapReduce

作业要求：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3319

1.用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。

HDFS是一个hadoop平台分布式文件系统，主要是用来存储和读取数据的。

工作过程：首先工作过程可以分为分为写操作和读操作两步。

（1）写操作：假设有一个100M大小的文件a，系统使用者将文件a写入到HDFS上。HDFS按默认配置(块大小为64M)。HDFS分布在三个机架上Rack1，Rack2，Rack3。之后系统使用者将文件a按64M分块，分成两块，block1和block2。然后系统使用者向nameNode发送写数据请求。NameNode节点记录block的信息，并且返回可用的DataNode。

（2）读操作：客户端通过调用文件系统对象的open()方法来打开希望读取的文件，DistributedFileSystem通过使用RPC来调用NameNode以确定文件起始块的位置，同一block按照重复数会返回多个位置。前两步会返回一个FSDataInputStream对象，该对象会被封装成DFSInputStream对象，DFSInputStream可以方便的管理datanode和namenode数据流，客户端对这个输入流调用read()方法。存储着文件起始块的DataNode地址的DFSInputStream随即连接距离最近的DataNode，通过对数据流反复调用read()方法，将数据从DataNode传输到客户端。到达块的末端时，DFSInputStream会关闭与该DataNode的连接，然后寻找下一个块的最佳DataNode。一旦客户端完成读取，就对FSDataInputStream调用close()方法关闭文件读取。

工作原理：客户端通过调用DistributedFileSystem的create()方法，创建一个新的文件。DistributedFileSystem 通过远程过程调用 NameNode，去创建一个没有blocks关联的新文件。前两步结束后会返回 FSDataOutputStream 的对象，FSDataOutputStream被封装成 DFSOutputStream，DFSOutputStream 可以协调 NameNode和 DataNode。客户端开始写数据到DFSOutputStream,DFSOutputStream会把数据切成一个个小packet，然后排成队列。DataStreamer会去处理接受队列，它先问询 NameNode 这个新的 block 最适合存储的在哪几个DataNode里。客户端完成写数据后，调用close()方法关闭写入流。

MapReduce是一种并行可扩展计算的模型，主要解决海量离线数据的批处理。

工作过程：一个作业执行过程中有一个Jobtracker和多个Tasktracker，分别对应于HDFS中的namenode和datanode。Jobclient在用户端把已配置参数打包成jar文件存储在HDFS，并把存储路径提交给Jobtracker，然后Jobtracker创建每一个Task，并且分发到Tasktracker服务中去执行。

工作原理：程序会根据InputFormat将输入文件分割成splits，每个split会作为一个map task的输入，每个map task会有一个内存缓冲区，输入数据经过map阶段处理后的中间结果会写入内存缓冲区，并且决定数据写入到哪个partitioner，当写入的数据到达内存缓冲区的的阀值，会启动一个线程将内存中的数据溢写入磁盘，同时不影响map中间结果继续写入缓冲区。在溢写过程中，MapReduce框架会对key进行排序，如果中间结果比较大，会形成多个溢写文件，最后的缓冲区数据也会全部溢写入磁盘形成一个溢写文件，如果是多个溢写文件，则最后合并所有的溢写文件为一个文件。当所有的map task完成后，每个map task会形成一个最终文件，并且该文件按区划分。reduce任务启动之前，一个map task完成后，就会启动线程来拉取map结果数据到相应的reduce task，不断地合并数据，为reduce的数据输入做准备，当所有的map tesk完成后，数据也拉取合并完毕后，reduce task 启动，最终将输出输出结果存入HDFS上。

2.HDFS上运行MapReduce

1）准备文本文件，放在本地/home/hadoop/wc

2）编写map函数和reduce函数，在本地运行测试通过

3）启动Hadoop：HDFS, JobTracker, TaskTracker

4）把文本文件上传到hdfs文件系统上 user/hadoop/input

5）streaming的jar文件的路径写入环境变量，让环境变量生效

6）建立一个shell脚本文件：streaming接口运行的脚本，名称为run.sh

7）source run.sh来执行mapreduce

8）查看运行结果

每位同学准备不一样的大一点英文文本文件，每个步骤截图交上博客上。

上述步骤测试通过之后，可以尝试对文本做处理之后再统计次数,如标点符号、停用词等。

有能力的同学尝试对之前爬虫爬取的文本，在Hadoop上做中文词频统计。