NameNode 和 SecondaryNameNode

1. NN 和 2NN 工作机制

• NameNode 会产生在磁盘中备份元数据的FsImage;
• 每当元数据有更新或者添加数据时,修改内存中的元数据并追加到Edits中;
• SecondaryNameNode 专门用于合并 FsImage 和 Edits;

2. Fsimage 和 Edits 解析

• 查看Fsimage: hdfs oiv -p XML -i fsimage_0000000000000000105 -o fsimage.xml
  • hdfs oiv -p 需要转换生成的文件类型 -i 镜像文件 -o 转换后文件输出路径
• 查看Edits: hdfs oev -p XML -i edits_000000000000000104-000000000000000105 -o edits.xml

3. CheckPoint 时间设置

• 通常情况下, SecondaryNameNode 每隔一小时执行一次;
• 另一种情况:一分钟检查一次操作次数,当操作次数达到一百万时, SecondaryNameNode 执行一次;

// hdfs-default.xml
<property>
    <name>dfs.namenode.checkpoint.period</name>
    <value>3600</value>
</property>

<property>
    <name>dfs.namenode.checkpoint.txns</name>
    <value>1000000</value>
    <description>操作次数</description>
</property>
<property>
    <name>dfs.namenode.checkpoint.check.period</name>
    <value>60</value>
    <description>一分钟检查一次操作次数</description>
</property>

4. NameNode 故障处理

• NameNode 发生故障后,可以采用两种方法恢复数据
  • 将 SecondaryNameNode 中数据拷贝到 NameNode 存储数据的目录;
  • 使用 -importCheckpoint 选项启动 NameNode 守护进程, 从而将 SecondaryNameNode 中数据拷贝到 NameNode 目录中;
    • 如果 SecondaryNameNode 和 NameNode 不在一个主机节点上,需要将 SecondaryNameNode 存储数据的目录拷贝到 NameNode 存储数据的评级目录,并删除 in_user.lock 文件;
    • bin/hdfs namenode -importCheckpoint
    • 启动 NameNode: sbin/hadoop-daemon.sh start namenode

// 第二种方式,需要修改 hdfs-site.xml 配置文件
<property>
    <name>dfs.namenode.checkpoint.period</name>
    <value>120</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>NameNode中存放地址/tmp/dfs/name</value>
</property>

5. 集群的安全模式

5.1 NameNode 启动

• NameNode 启动时, 首先将镜像文件(Fsimage)载入内存,并执行编辑日志(Edits)中的各项操作。一旦在内存中成功建立文件系统元数据的映像,则创建一个新的 Fsimage 文件和一个空的编辑日志。此时,NameNode 开始监听 DataNode 请求。这个过程期间,NameNode 一直运行在安全模式,即 NameNode 的文件系统对于客户端来说是只读的。

5.2 DataNode 启动

• 系统中的数据块的位置并不是有 NameNode 维护的, 而是以块列表的形式存储在 DataNode 中。在系统的正常操作期间, NameNode 会在内存中保留所有块位置的映射信息。在安全模式下, 各个 DataNode 会向 NameNode 发送最新的块列表信息, NameNode 了解到足够多的块位置信息之后, 即可高效运行文件系统。

5.3 安全模式退出判断

• 如果满足"最小副本条件", NameNode 会在30秒钟之后就退出安全模式。所谓的最小副本条件指的是在整个文件系统中99.9%的块满足最小副本级别(默认值: dfs.replication.min=1)。在启动一个刚刚格式化的 HDFS 集群时,因为系统中还没有任何块,所以 NameNode 不会进入安全模式。

5.4 安全模式基本语法

• 查看安全模式状态:hdfs dfsadmin -safemode get
• 进入安全模式状态:hdfs dfsadmin -safemode enter
• 离开安全模式状态:hdfs dfsadmin -safemode leave
• 等待安全模式离开:hdfs dfsadmin -safemode wait

6. NameNode多目录

• NameNode 在本地目录可以配置成多个, 且每个目录存放内容相同,增加了可靠性;

// hdfs-site.xml 配置
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///${hadoop.tmp.dir}/dfs/name1, file:///${hadoop.tmp.dir}/dfs/name2</value>
</property>

参考资料:

• HDFS NN 和 2NN工作机制