hadoop 初探之第二篇（杂谈）

NameNode：名称节点，主要功能在于实现保存文件元数据，这些元数据直接保存在内存中，为了保证元数据的持久性，而也会周期性的同步到磁盘上去。磁盘上的数据通常被称为元数据的映像数据 image file

以防万一，如果服务或机器崩溃了，它会基于Image File以及各个DateNode的报告信息重新生成元数据。

·Secondary NameNode：第二名称节点，NameNode在早期只有一个，后来提供了第二个名称节点Secondry NameNode ,万一主节点崩溃，secondary无非是将image file整合到本地实现快速启动节点而已，同时也能够对Namenode节点映像文件合并的功能，平时不提供任何节点的服务。

·HDFS DataNode：所有大数据都保存在数据节点上，我们称为DataNode

HDFS不支持FUSE挂载到本地，所以支持基于HDFS的AIP(HadoopAPI)来进行访问，因此必须自己去研发专用的命令行工具。

服务是如何在HDFS中写数据：

(1) 当我们创建一个数据时候，需要先向NameNode发起请求；

（2）NameNode收到请求之后，会告知HDFSDataNode，说明需要分别存储至什么位置，当报告返回回来之后，HDFS Client将对其发起写操作请求；

（3）NameNode会为HDFS Client会分配一个DataNode数据节点；

（4）数据节点可能是多个，但HDFS Client却无知这一点，只需要向其一节点发起写操作即可；

（5）第一个数据节点datanode 接到请求之后，自行将数据复制到其它节点

（#一个数据块 报文为64k 于是其按报文逐一开始存放）

（为了保证数据可用性以及降低集群的成本，hadoop是工作在商用计算机硬件（说白了就是服务器或专业级存储），而且服务器不需要做RAID,它会在磁盘上自行存储多个副本，而且是在不同主机上）

（6）每个数据块存储结束之后，数据节点DataNode都要向Namenode报告存储完毕，接着存放下一个数据块然后报告。。。以此类推；

（7）一旦所有数据都存储完成，NameNode会保存一个列表，记录着数据的副本保存在哪个数据节点上。

如何在HDFS中读取数据:

比如文件file1 分别存储在 D1 D2 D3 上，所以一旦有请求读取数据时，那么3个节点都有数据，那么该找谁去读取呢？如上图所示：

当 客户端要请求访问某个数据块的时候，一个数据块可能在多个节点都有，那么所以这时候名称节点NameNode会告知它第一个块或文件 分别存储在D1 D2 D3 这么3个节点上，那么我们的客户端将会去第一个节点datanode1上去取数据，datanode1接到请求，将数据返回给客户端，假如中途出现中断的 情况，那么客户端则去找datanode2，datanode2接到请求后如果有数据那么则将数据返回给用户

其实用户请求的为列表，告知的节点上都存在同样的数据；

如果用户请求存放某大文件，那么会被分割为报文，以报文形式存储到datanode 再由datanode相互复制 从而达到并行存储；

同样，也可以并行去读取文件，如果某台数据节点出现问题，那么肯定会导致数据不统一，所以每个datanode每隔3秒钟会向namenode报告自己的心跳信息、所持有的数据块的列表，如果超过阀值则将移除可用列表

在向namenode报告时候为了避免报告出错，还要检验一次数据块是否有问题，如果没有问题则报告，如果namenode没有接到其报告信息，则认为这个数据块缺少副本，并找将报告的完整副本完全复制到其故障节点上