HDFS的一些重要流程

该随笔记录HDFS学习过程中遇到的比较重要的几个过程，包括：HDFS启动流程、DataNode备份流程、流程、写流程、删除流程、HDFS合并流程。
这里都是从我的学习笔记中摘取出来的，如果哪里有误，还望不吝赐教。

1. 读流程
　　1）客户端发起RPC请求（RPC-Client）访问NameNode；
　　2）NameNode会查询元数据，找到这个文件存储位置对应的数据块的信息；
　　3）NameNode将文件对应的数据块的节点地址的全部或者部分放入一个队列中然后返回；
　　4）Client收到这个数据块对应的节点地址；
　　5）Client会从队列中取出第一个数据块对应的节点地址，会从这些节点地址中选择一个最近的节点进行读取；
　　6）将Block读取之后，对Block进行checksum/完整性验证，如果验证失败，说明数据块已损坏，那么Client会向NameNode发送信息说明该节点上的数据块损坏，然后从其他节点中再次读取这个数据块；
　　7）验证成功，则从队列中取出下一个Block的地址，然后继续读取；
　　8）当把这一次的文件全部读完之后，Client会向NameNode请求下一批Block的地址；
　　9）当文件读完之后，Clent向NameNode发送读取完成的信号，NameNode就会关闭对应的文件。

2. 写流程
　　1）客户端发起RPC请求（RPC-Client）访问NameNode；
　　2）NameNode接收请求，对请求进行验证，如该请求中的文件是否存在，权限验证；
　　3）如果验证通过，NameNode会确定文件的大小，计算分块的数量，分配对应的节点（一般会找磁盘空间相对空闲的节点），将节点地址放入队列中返回给客户端；
　　4）客户端收到地址后，从队列中依次取出节点地址，然后将数据块依次放入对应的节点中；
　　5）写完之后，客户端向NameNode发送写完数据的信号，NameNode会给客户端返回关闭文件的信号；
　　6）dataNode之间会通过管道进行自动备份，以保证复本的数量。

3. 删除流程
　　1）Client发起RPC请求（RPC-Client）到NameNode；
　　2）NameNode收到请求之后，会将这个操作记录到edits中，然后将该文件的元数据信息从内存中删掉，给客户端返回一个删除成功的信号；
　　3）客户端收到信号后，认为数据已经删除，关闭连接，实际上此时数据依然存在于DateNode中；
　　4）当DataNode下一次向NameNode发送心跳信号（接地状态，节点数据）时，NameNode就会检查这个DataNode中的数据；
　　5）如果发现DataNode中存在元数据中没有的记录，NameNode就会做出响应，命令DataNode删除对应的数据；
　　6）备份中的数据会通过管道进行同步（删除主节点中已经不存在的数据）。

4. DataNode备份流程

　　1）DataNode定时向NameNode发送心跳信息（3S），心跳信息中包含当前节点状态以及节点数据；
　　2）NameNode接收到心跳信息以后会检查这个DataNode中的文件信息（与NameNode中的元数据进行对比）；
　　3）如果NameNode发现DataNode中不含元数据记录的文件，就会命令DataNode从其他节点进行备份；
　　4）如果发现DataNode中存在元数据中没有的记录，NameNode就会做出响应，命令DataNode删除对应的数据；

5. HDFS合并流程
　　NameNode中有3个文件：
　　　　fsimage：
　　　　　　存储元数据。但是注意fsimage中的元数据和内存中并不一致，也就意味着fsimage中的数据并不是实时数据。
　　　　edits：
　　　　　　记录HDFS的操作。对HDFS的操作，会：
　　　　　　　　1）首先将操作记录到edits文件中；
　　　　　　　　2）如果edits文件操作成功，那么将这个操作更新到内存中。
　　　　　　　　　  这么做的的目的是，保证每一步操作不会丢失。
　　　　　　　　3）当达到触发条件时，再将edits文件中的操作更新到fsimages中。
　　　　　　触发更新的条件：
　　　　　　　　1）文件大小：根据配置文件设置的edits log大小触发，fs.checkpoint.size默认64M；
　　　　　　　　2）时间间隔：根据配置文件设置的时间间隔：fs.checkpoint.period默认3600S；
　　　　　　　　3）重启HDFS：重启HDFS也会触发更新。
　　　　fstime：
　　　　　　记录上一次更新的时间；

　　将fsiamge文件与edits文件合并的流程如下：
　　　　1）当达到触发条件，将edits和fsimage通过网络拷贝到SecondaryNameNode中；
　　　　2）此时会在NameNode中生成一个edits.new文件用于记录合并期间的操作；
　　　　3）拷贝完成之后，fsimage就会将数据存储到SecondaryNameNode的内存中；
　　　　4）将edits的操作更新到SecondaryNameNode的内存中；
　　　　5）更新完成之后，将内存中的数据写入fsimage.ckpt文件中；
　　　　6）通过网络将fsimage.ckpt拷贝到NameNode中；
　　　　7）将fsimage.ckpt重命名为fsiamge，edits.new重命名为edits；
　　正因合并的机制，SecondaryNameNode虽然不是NameNode的热备份，但也能起到备份的作用，防止数据丢失。

6. HDFS启动流程
　　1）NameNode启动，合并edits和fsimage得到最新的fsimage；
　　2）NameNode等待DataNode的心跳，并根据DataNode报告的持有的Block的信息在内存中得到块和DataNode的映射关系，并在需要时复制和删除Block；
　　3）等到有足够数量的DataNode后，NameNode开始对外提供服务；
　　4）启动过程可能需要消耗一定的时间，这段时间内HDFS无法对外提供服务，称之为HDFS处于安全模式下。如果一直处于安全模式下可能是由于没有足够数量的DataNode启动，可以强制退出安全模式，但是不推荐这么做，可能会损坏元数据。