HDFS读写策略

数据的读取过程：

数据读取：

1. 客户端调用FileSystem 实例的open 方法，获得这个文件对应的输入流InputStream。
2. 通过RPC 远程调用NameNode ，获得NameNode 中此文件对应的数据块保存位置，包括这个文件的副本的保存位置( 主要是各DataNode的地址) 。
3. 获得输入流之后，客户端调用read 方法读取数据。选择最近的DataNode 建立连接并读取数据。
4. 如果客户端和其中一个DataNode 位于同一机器(比如MapReduce 过程中的mapper 和reducer)，那么就会直接从本地读取数据。
5. 到达数据块末端，关闭与这个DataNode 的连接，然后重新查找下一个数据块。
6. 不断执行第2 - 5 步直到数据全部读完。
7. 客户端调用close ，关闭输入流DF S InputStream。

数据的写入过程：

数据的写入：

1. 客户端调用FileSystem实例的create方法，创建文件。NameNode通过一些检查，比如文件是否存在，客户端是否拥有创建权限等;通过检查之后，在NameNode添加文件信息。注意，因为此时文件没有数据，所以NameNode上也没有文件数据块的信息。
2. 创建结束之后，HDFS会返回一个输出流DFSDataOutputStream给客户端。
3. 客户端调用输出流DFSDataOutputStream的write方法向HDFS中对应的文件写入数据。
4. 数据首先会被分包，这些分包会写人一个输出流的内部队列Data队列中，接收完数据分包，输出流DFSDataOutputStream会向NameNode申请保存文件和副本数据块的若干个DataNode，这若干个DataNode会形成一个数据传输管道。DFSDataOutputStream将数据传输给距离上最短的DataNode，这个DataNode接收到数据包之后会传给下一个DataNode。数据在各DataNode之间通过管道流动，而不是全部由输出流分发，以减少传输开销。
5. 因为各DataNode位于不同机器上，数据需要通过网络发送，所以，为了保证所有DataNode的数据都是准确的，接收到数据的DataNode要向发送者发送确认包(ACK Packet ) 。对于某个数据块，只有当DFSDataOutputStream收到了所有DataNode的正确ACK，才能确认传输结束。DFSDataOutputStream内部专门维护了一个等待ACK 队列，这一队列保存已经进入管道传输数据、但是并未被完全确认的数据包。
6. 不断执行第3 - 5 步直到数据全部写完，客户端调用close 关闭文件。
7. DFSDataInputStream 继续等待直到所有数据写人完毕并被确认，调用complete 方法通知NameNode 文件写入完成。NameNode 接收到complete 消息之后，等待相应数量的副本写入完毕后，告知客户端。