Hadoop - HDFS 概述

什么是HDFS

HDFS的优缺点

HDFS的文件块大小

HDFS的写数据流程

HDFS的副本配置策略

HDFS读数据的流程

什么是HDFS

HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。

HDFS的使用场景：适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。

HDFS的优缺点

• 优点

1、高容错

（1）数据自动保存多个副本。它通过增加副本的形式，提高容错性。

（2）当一个副本丢失以后，它可以自动恢复。

2、适合处理大数据

（1）数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据；

（2）文件规模：能够处理百万规模以上的文件数量，数量相当之大。

3、可构建在廉价机器上，通过多副本机制，提高可靠性。

• 缺点

1、不适合低延时数据访问，比如毫秒级的存储数据。

2、无法高效的对大量数据小文件进行存储

（1）存储大量小文件的话，它会占用NameNode大量的内存来存储文件目录和块信息。这样是不可取的，因为NameNode的内存总是有限的。

（2）小文件存储的寻址时间会超过读取时间，它违反了HDFS的设计目标。

3、不支持并发写入、文件随机修改

（1）同一时间一个文件只能有一个用户执行写操作，不允许多个线程同时写。

（2）仅支持数据append追加，不支持文件的随机修改。

HDFS的文件块大小

HDFS的文件在物理上是分块存储的，块的大小可以通过配置参数（dfs.blocksize）来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M。

如果寻址时间为10ms，即查到目标block的时间为10ms。

寻址时间为传输时间的1%时，则为最佳状态。因此，传输时间=10ms/0.01=1000ms=1s

目前磁盘的传输速率普遍为100MB/s

block的大小=1s*100MB/s=100MB

HDFS的写数据流程

1、客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。

2、NameNode返回是否可以上传。

3、客户端请求第一个 Block上传到哪几个DataNode服务器上。

4、NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。

5、客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。

6、dn1、dn2、dn3逐级应答客户端。

7、客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答。

8、当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block的服务器。

（重复执行3-7步）。

HDFS的副本配置策略

第一个副本在Client所在的节点上。如果客户端在集群外，随机选一个。

第二个副本和第一个副本位于同一机架，随机节点。

第三个副本位于不同机架的随机节点。

HDFS读数据的流程

1、客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。

2、挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。

3、DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。

4、客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。

Q&A

Q1：为什么块的大小不能设置太小，也不能设置太大？

A：如果HDFS的块设置太小，会增加寻址时间，程序一直在找块的位置；如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时，会非常慢。

HDFS块的大小设置主要取决于磁盘的传输速率。