Hadoop学习笔记01——Hadoop分布式文件系统

Hadoop有一个称为HDFS的分布式系统，全称为Hadoop Distributed Filesystem。

HDFS有块（block）的概念，默认为64MB，HDFS上的文件被划分为块大小的多个分块，作为独立的存储单元。使用块的好处在于：1. 一个文件大小可以大于集群网络中任意一个磁盘的容量，文件的所有块不需要存储在同一个磁盘上；2.简化存储管理；3.提供数据容错能力和可用性

HDFS集群有2类节点：一个namenode（管理者）和多个datanode（工作者）。namenode管理文件系统的命名空间，维护着文件系统树及整棵树内的所有文件和目录，这些信息以两个文件形式永久保存在本地磁盘上：命名空间镜像文件和编辑日志文件。datanode是文件系统的工作节点，根据需要存储并检索数据库，定期向namenode发送它们所存储的块的列表。