HDFS节点及原理

HDFS节点角色：

（1）namenode：1、用来存储HDFS的元数据信息，这里的元数据信息指的是文件系统的命名空间。启动时，将这些信息加载到namenode内存。

　　　　　　　　 2、元数据信息也会在磁盘上保存成fsimage和edit log 文件。

3、namenode的内存中也会保存文件的具体信息，如：一个文件包含哪些数据块，分布在哪些节点上。这些信息在系统启动时从datenode上进行收集。

（2）secondary namenode：用于周期性的合并namenode中的fsimage文件和edit log文件。文件合并之后，会返回给namenode，同时secondary 里也会保存一份，用于namenode故障恢复。

（3）datenode：存储文件数据块数据。定时向namenode汇报存储的数据块信息。

补充：

数据块：HDFS将文件分块存储，文件块默认大小为128M，可以设置。mapreduce的maptask数量和文件块的数量对应。其中，文件块不宜太小，增加寻址时间；

　　　　同时文件也不宜过大，过大导致maptask太少，少于集群节点数量，没有充分利用集群资源，导致作业运行速度慢。

　　　　文件分块的优势：a、存储文件大小可以大于任何一个集群中磁盘容量；

　　　　　　　　　　       b、不使用整个文件进行存储，简化存储子系统设计，这点比较虚

c、利于数据备份，有利于集群高可用。