hadoop中的一些术语介绍

１．MR作业是客户端执行的一个工作单元：包括输入数据，MR的程序和配置信息．

Hadoop将作业分成若干个任务task来执行，分为两种任务：map和reduce任务．这些任务运行在集群的节点上，并通过YARN进行调度，若一个任务失败，它将在另外一个不同的节点自动重新运行调度．

２．hadoop将MR输入的数据划分成等长的小数据块，称为分片，每个分片对应构建一个map任务．一个分片大小与hdfs的一个块大小差不多．hdfs一个块大小默认是１２８MB．若一个分片大于block大小，则hdfs任何一个节点都不可能同时存储这两个数据块，因此分片中的部分数据需要通过网络传输到map任务运行的节点．此时会增加开销．

３．map任务将输出结果先写入环形缓冲区中，若存储不下，则写入本地磁盘中，而不是hdfs中，因为map的输出是中间结果存储到hdfs上将会实现备份(副本)大题小做，该中间结果由reduce任务(不具有数据本地化优势)处理后才会产生最终结果存储到hdfs上．

４．分块的好处：大于节点磁盘容量的文件可以划分成多个块存储在不同的节点上，使用块而不是文件作为存储单元，大大方便使用．同时消除类元数据的问题，因为块只存储文件数据，而不是文件的元数据信息，块还可以适合用于数据　备份而提高数据容错能力和可用性．

５．namenode：维护文件系统的目录结构，其信息以两个文件形式（命名空间镜像文件fimage和编辑日志文件edit.log）永久保存在本地磁盘中,管理文件与block之间关系，block与datanode之间关系

6．dataname：是文件系统的工作节点存储数据，受客户端或者namenode调度．并且定期向namenode发送他们所存储的块的列表．

7．secondNamenode：定期合并命名空间镜像文件fimage和编辑日志文件edit.log．当namenode故障时，它就会代替namenode，因为它有当前数据的操作日志，可以很快的恢复．很好的实现类hdfs的高可用性．