HDFS文件上传

下图描述了Client向HDFS上传一个200M大小的日志文件的大致过程：

1）首先，Client发起文件上传请求，即通过RPC与NameNode建立通讯。

2）NameNode与各DataNode使用心跳机制来获取DataNode信息。NameNode收到Client请求后，获取DataNode信息，并将可存储文件的节点信息返回给Client。

3）Client收到NameNode返回的信息，与对应的DataNode节点取得联系，并向该节点写文件，写入文件被切分成128m大小的数据块，最后一块可能不够128m，一个数据块里不能同时存储2个以上文件的数据。

4）文件写入到DataNode后，以流水线的方式复制到其他DataNode（以3份冗余为例，数据块副本策略为：第一个块写入最近的机架上的一台服务器，第二个块由第一个块复制到同一个机架上的另一台主机上，最后一个副本被第二个副本主机复制到不同机架的不同主机上），至于复制多少份，与所配置的hdfs-default.xml中的dfs.replication相关。