【Hadoop】HDFS笔记（二）：HDFS的HA机制和Federation机制

HA解决了HDFS的NameNode的单点问题；

Federation解决了整个HDFS集群中只有一个名字空间，并且只有单独的一个NameNode管理所有DataNode的问题。

一、HA机制（High Availability）

1.HA集群

HDFS 的高可用性（HA, High Availability）是为了解决集群不可用的问题引入的，集群不可用主要是宕机、 NameNode 软硬件升级等导致的。 HA 机制通过提供选择运行在同一集群中的一个热备用的“主/备”两个冗余 NameNode ，使得在机器宕机或维护的过程中可以快速转移到另一个 NameNode。

典型的 HA 集群会配置两个独立机器为 NameNode ，分别为主 NameNode 和副本 NameNode 。正常情况下，主 NameNode 为 alive 状态而副本 NameNode 为休眠状态，活动 NameNode 负责处理集群中所有的客户端操作，待机时仅仅作为一个 slave ，保持足够的状态，如果有必要会提供一个快速的故障转移。

关于保持同步。为了保持备用节点与活动节点状态的同步，两个节点同时访问一个共享存储设备（例如从 NAS、NFS 挂载）到一个目录。

2.HA机制作用

HA 机制出现的作用主要是为了：

1.解决单点故障；

2.提升集群容量和集群性能。

二、Federation机制

为了防止单点失效（Single PointFailure），在 NameNode 只有命名空间的情况下。其最主要的原因是对 HDFS 系统的文件隔离，Federation 可以解决大部分单 NameNode HDFS 的问题。

总之，HDFSFederation就是使得HDFS支持多个命名空间，并且允许在HDFS中同时存在多个NameNode。

1.Federation架构

HDFS Federation使用多个独立的 NameNode / NameSpace 使得 HDFS 的命名服务能水平扩展，HDFS Federation中的 NameNode 之间为独立且不需要相互协调，Federation 中的 NameNode 提供了名字空间和块管理功能。Federation 中的 DataNode 被所有的 NameNode 用作公共存储块的地方。每个 DataNode 都会向所在集群中所有的 NameNode
注册，并且周期性发送心跳和块信息报告，同时处理来自 NameNode 的指令。

HDFS 只有一个名字空间 NameSpace 时，它使用全部的块，而 Federation HDFS 中有多个独立的NameSpace ，并且每个名字空间使用一个块池Block Pool（注：就是属于单个名字空间的一组 Block ），每个DataNode 为所有的块池存储块，DataNode是个物理概念，而块池是另一个重新将块划分的逻辑概念。

HDFS 中只有一组块。而Federation HDFS中有多组独立的块，块池就是属于同一个名字空间的一组块。

HDFS 由一个 NameNode 和一组 DataNode 组成，而 Federation HDFS 由多个 NameNode 和一组 DataNode 组成，每个 DataNode 会为多个块池存储块。同一个 DataNode 中可以存着属于多个块池的多个块。块池允许一个名字空间在不通知其他名字空间的情况下为一个新的 Block 创建 Block ID ，同时一个 NameNode 失效不会影响其下的 DataNode 为其他的
NameNode 服务。

在 HDFS 中，所有的更新、回滚都是以 NameNode 和 Block Pool 为单元发生的，即同 HDFS Federation 中不同的 NameNode/Block Pool 之间没有什么关系。

在 DataNode 中，对应于每个 NameNode 都有一个相应的线程。每个 DataNode 会去每个 NameNode 注册，并周期性地给所有的 NameNode 发送心跳和使用报告，DataNode 还会给 NameNode 发送其所在的块池报告 block report，由于有多个 NameNode 同时存在，因此任何一个 NameNode 都可以随时动态加入、删除和更新。

2.多名字空间管理

在一个集群中需要唯一的名字空间还是多个名字空间，核心问题是名字空间中数据的共享和访问的问题。解决数据共享和访问的一种方法：使用全局唯一的名字空间，在多个名字空间下，还可以使用 Client Side Mount Table 方式做到数据共享和访问。

HDFS Federation 名字空间管理基本原理：将各个名字空间挂载到全局 mount-table 中，就可以将数据到全局共享；同样，名字空间挂载到个人 mount-table 中，就成为应用程序可见的名字空间视图。