【大数据系列】HDFS安全模式

一、什么是安全模式

安全模式时HDFS所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求。在NameNode主节点启动时，HDFS首先进入安全模式，DataNode在启动的时候会向namenode汇报可用的block等状态，当整个系统达到安全标准时，HDFS自动离开安全模式。如果HDFS处于安全模式下，则文件block不能进行任何的副本复制操作，因此达到最小的副本数量要求是基于datanode启动时的状态来判定的，启动时不会再做任何复制。

二、安全模式的相关配置

系统离开安全模式的条件：

1）可用的block占总数的比例

2）可用的数据节点数量符合要求

三、配置  hdfs-site.xml

dfs.namenode.replication.min:最小的文件block副本数量，默认为1

dfs.namenode.safemode.threshold-pct:副本数达到最小要求的block占系统总block数的百分比，当实际比例超出该配置后，才能离开安全模式

dfs.namenode.safemode.min.datanodes:离开安全模式的最小可用(alive)datanode数量要求，默认是0，也就是即使所有datanode都不可用，仍然可以离开安全模式

dfs.namenode.safemode.extension:当集群可用block比例，可用datanode都达到要求之后，如果在extension配置额时间段之后依然能满足要求，此时集群才离开安全模式，单位为毫秒。默认为1，也就是当满足条件并且能够维持1毫秒之后，离开安全模式。这个配置主要是针对集群的稳定程度做进一步的确认

四、相关操作命令

hadoop dfsadmin -safemode <command>

• get     查看当前状态
• enter   进入安全模式
• leave   强制离开安全模式
• wait   一直等待直到安全模式结束

五、源码分析

import org.apache.hadoop.classification.InterfaceAudience.Private;
import org.apache.hadoop.hdfs.protocol.Block;

@Private
public interface SafeMode {
    //检查进入或者退出安全模式的条件是否满足，如果满足，进入或退出安全模式
    void checkSafeMode();
    //系统当前是否处于安全模式
    boolean isInSafeMode();
    //系统启动时是否自动进入安全模式
    boolean isInStartupSafeMode();

    boolean isPopulatingReplQueues();
    //增加达到最小副本数要求的block数
    void incrementSafeBlockCount(int var1);
    //降低达到最小副本数要求的block数
    void decrementSafeBlockCount(Block var1);
}

//周期性的检测是否可以离开安全模式，逻辑封装在run方法中
class SafeModeMonitor implements Runnable {
        //两次检测间隔的毫秒数，即1秒
        private static final long recheckInterval = 1000L;

        SafeModeMonitor() {
        }

        public void run() {
            //系统运行时，循环检测
            while(FSNamesystem.this.fsRunning) {
                FSNamesystem.this.writeLock();

                try {
                    //没有安全模式相关信息，也就是不在安全模式
                    if(FSNamesystem.this.safeMode == null) {
                       //线程退出
                        break;
                    }

                    if(FSNamesystem.this.safeMode.canLeave()) {
                        //离开安全模式
                        FSNamesystem.this.safeMode.leave();
                        FSNamesystem.this.smmthread = null;
                        //离开安全模式之后，线程退出
                        break;
                    }
                } finally {
                    FSNamesystem.this.writeUnlock();
                }

                try {
                    //两次检测之间，线程休眠
                    Thread.sleep(1000L);
                } catch (InterruptedException var4) {
                    ;
                }
            }
            //当系统不在运行的时候，线程结束退出
            if(!FSNamesystem.this.fsRunning) {
                FSNamesystem.LOG.info("NameNode is being shutdown, exit SafeModeMonitor thread");
            }

        }
    }

　　

在FSNamesystem.class中有SafeModeInfo用于保存安全模式下的相关信息：private volatile FSNamesystem.SafeModeInfo safeMode;
这个变量的类型为volatile,也就是桌该线程对该变量的任何修改完成后，其他线程立刻可以看到变化

private SafeModeInfo(Configuration conf) {
            this.reached = -1L;
            this.reachedTimestamp = -1L;
            this.lastStatusReport = 0L;
            this.resourcesLow = false;
            this.shouldIncrementallyTrackBlocks = false;
            //这个就是之前提到过的百分比配置
            this.threshold = (double)conf.getFloat("dfs.namenode.safemode.threshold-pct", 0.999F);
            if(this.threshold > 1.0D) {
                FSNamesystem.LOG.warn("The threshold value should\'t be greater than 1, threshold: " + this.threshold);
            }
            //最小可用的datanode数量配置
            this.datanodeThreshold = conf.getInt("dfs.namenode.safemode.min.datanodes", 0);
            this.extension = conf.getInt("dfs.namenode.safemode.extension", 0);
            this.safeReplication = conf.getInt("dfs.namenode.replication.min", 1);
            FSNamesystem.LOG.info("dfs.namenode.safemode.threshold-pct = " + this.threshold);
            FSNamesystem.LOG.info("dfs.namenode.safemode.min.datanodes = " + this.datanodeThreshold);
            FSNamesystem.LOG.info("dfs.namenode.safemode.extension     = " + this.extension);
            this.replQueueThreshold = (double)conf.getFloat("dfs.namenode.replqueue.threshold-pct", (float)this.threshold);
            this.blockTotal = 0;
            this.blockSafe = 0;
        }

　　即：SafeModeMonitor作为守护线程，在收到来自datanode的BlockReport状态报告之后，周期性检测是否达到离开安全模式的条件，如果符合，则离开安全模式。