HDFS的设计

当数据集的大小超过一台独立的物理计算机的存储能力时，就有必要对它进行分区(partition)并存储到若干台单独的计算机上。管理网络中跨多台计算机存储的文件系统成为分布式文件系统(distributed filesystem)。该系统架构于网络之上，势必会引入网络编程的复杂性，因此分布式文件系统比普通磁盘文件系统更为复杂。

HDFS的设计

HDFS以流式数据访问模式来存储超大文件，运行于商用硬件集群上。
1. 超大文件
超大文件在这里指具有几百MB、几百GB甚至几百TB大小的文件。
2. 流式数据访问
HDFS的构建思路是这样的：一次写入，多次读取是最高效的访问模式。数据集通常由数据源生成或从数据源复制而来，接着长时间在此数据集上进行各种分析。每次分析都将涉及该数据集的大部分数据甚至全部。
3. 商用硬件
Hadoop并不需要运行在昂贵且高可靠的硬件上。它是涉及运行在商用硬件的集群上的，因此至少对于庞大的集群来说，节点故障的几率还是非常高的。HDFS遇到上述故障时，被设计成能够继续运行且不让用户察觉到明显的中断
4. 低时间延迟的数据访问
HDFS是为高数据吞吐量应用优化的，所以要求低时间延迟数据访问的应用，例如几十毫秒范围，不适合在HDFS上运行。目前，对于低延迟的访问需求，HBase是更好的选择
5. 大量的小文件
由于namenode将文件系统的元数据存储在内存中，因此该文件系统所能存储的文件总数受限于namenode的内存容量。每个文件、目录和数据块的存储信息大约占150字节。因此，如果有一百万个文件，且每个文件占一个数据块，那至少需要300MB的内存。
6. 多用户写入，任意修改文件
HDFS中的文件可能只有一个writer，而且写操作总是将数据添加在文件的末尾。它不支持具有多个写入者的操作，也不支持在文件的任意位置进行修改。