RM状态存储与还原机制详解

转载请注明原始链接http://www.cnblogs.com/shenh062326/p/3562199.html。

摘要

　　本文基于Apache Hadoop社区最新release版本2.3.0编写，社区从2.3.0开始支持ResourceManager的HA，已经实现的功能包括RM状态信息的存储与还原，客户端（clientToRM, AMToRM, NMToRM）实现RPC重试机制，增加Active与Standby RM角色，支持手动切换Active与Standby RM，还不支持RM的热备（自动主备切换），不支持RM切换后正在运行运行的Container不被Kill。本文将从代码上详细分析RM状态存储与还原的原理。

RM为什么要存储状态信息，RM要存储什么状态信息

　　RM HA这项工作的目的是，当Active RM由于异常无法工作时，Standby RM能接替正在服务的Active RM，防止集群出现不可用状态。那Standby RM是如何知道正在运行的App的状态的呢？

　　这就需要主Active RM把App的状态保存下来，那要保存哪些状态呢？除了保存App的状态，是否还需要保存NodeManager的状态呢？

　　我们先从代码上来看，RM HA的org.apache.hadoop.yarn.server.resourcemanager.recovery包中，定义了一个RMStateStore接口，接口解释如下：

Base class to implement storage of ResourceManager state. Takes care of asynchronous notifications and interfacing with YARN objects. Real store implementations need to derive from it and implement blocking store and load methods to actually store and load the state.

大致意思是，RMStateStore是存储ResourceManager状态的基础接口，真实的存储器需要实现存储和加载方法。

　　RMStateStore的类图如图1所示：

图1，RMStateStore的类图

　　其中包含四个内部RMState，ApplicationState，ApplicationAttemptState，RMDTSecretManager，另外还包括存储，加载，删除ApplicationState/ ApplicationAttemptState/ RMDTSecretManager的方法。

这里解释一下四个内部类，RMState是ResourceManager的状态，它包含：

Map<ApplicationId, ApplicationState> appState

RMDTSecretManagerState rmSecretManagerState

ApplicationState是Application的状态，即客户端提交的作业的状态，它包含：

final ApplicationSubmissionContext context;

final long submitTime;

final String user;

Map<ApplicationAttemptId, ApplicationAttemptState> attempts

一个ApplicationState可能包含一到多个ApplicationAttemptState，客户端提交的作业可以设置ApplicationMaster重试的次数，例如客户端设置重试两次，第一次失败，第二次成功，则ApplicationState会包含两个ApplicationAttemptState。它包含：

final ApplicationAttemptId attemptId;

final Container masterContainer;

final Credentials appAttemptCredentials;

RMDTSecretManager包含：

Map<RMDelegationTokenIdentifier, Long> delegationTokenState

Set<DelegationKey> masterKeyState

int dtSequenceNumber

　　上述就是RM存储的状态信息。当然，RMStateStore还维护着版本信息，因为存储的内容可能随着后续版本的更新而改变，这时就需要通过增加版本号来区分，这里规定了高版本需要兼容低版本的状态信息。

RM什么时候存储状态

　　顺着RMStateStore接口的六个存储方法（storeNewApplication/updateApplicationState/storeNewApplicationAttempt/updateApplicationAttemptState/storeRMDelegationTokenAndSequenceNumber/storeRMDTMasterKey）向上找，我们就能找到存储与更新RM状态的地方。

一．storeNewApplication

　　首先是storeNewApplication，顺着代码，我们很快就能发现，是在客户端提交一个作业到RM后，RM的ClientRMService.submitApplication()方法调用rmAppManager.submitApplication()方法，这里会生成一个RMAppEvent的START事件，并交给RM的异步处理器：

rmContext.getDispatcher().getEventHandler()

    .handle(new RMAppEvent(applicationId,

    isRecovered ? RMAppEventType.RECOVER : RMAppEventType.START)

RMAppImpl定义了RMApp的状态机，

        .addTransition(RMAppState.NEW, RMAppState.NEW_SAVING,

        　　RMAppEventType.START, new RMAppNewlySavingTransition())

　　其中NEW状态遇到START事件将调用RMAppNewlySavingTransition转换，它调用了app.rmContext.getStateStore().storeNewApplication(app);这样在作业刚提交的时候RM就把App存储下来了。

二．updateApplicationState

再来看updateApplicationState，即更新App状态，从调用关系（图2）可以看到，RM通过AttemptFailedTransition和FinalSavingTransition方法调用了更新App的操作。

图2 updateApplicationState调用关系图

从RMApp的状态机可以看到，有以下地方调用FinalSavingTransition，

.addTransition(RMAppState.NEW_SAVING, RMAppState.FINAL_SAVING,

　　RMAppEventType.KILL,

　　new FinalSavingTransition(

　　new AppKilledTransition(), RMAppState.KILLED))

.addTransition(RMAppState.NEW_SAVING, RMAppState.FINAL_SAVING,

　　RMAppEventType.APP_REJECTED,

　　new FinalSavingTransition(new AppRejectedTransition(),

　　RMAppState.FAILED))

.addTransition(RMAppState.SUBMITTED, RMAppState.FINAL_SAVING,

　　RMAppEventType.APP_REJECTED,

　　new FinalSavingTransition(

　　new AppRejectedTransition(), RMAppState.FAILED))

.addTransition(RMAppState.RUNNING, RMAppState.FINAL_SAVING,

　　RMAppEventType.ATTEMPT_UNREGISTERED,

　　

　　new FinalSavingTransition(

　　new AttemptUnregisteredTransition(),

　　RMAppState.FINISHING, RMAppState.FINISHED))

.addTransition(RMAppState.KILLING, RMAppState.FINAL_SAVING,

　　RMAppEventType.ATTEMPT_KILLED,

　　new FinalSavingTransition(

　　new AppKilledTransition(), RMAppState.KILLED))

　　这里解释一下第一个状态转换原理，其他状态转换可以用相同的方法理解。App在保存后，到达RMAppState.NEW_SAVING状态，这时，如果遇到RMAppEventType.KILL事件，则会调用FinalSavingTransition方法，最后会更新已经存储的App的状态（包括结束时间和状态）。

　　调用AttemptFailedTransition状态转换的地方包括以下两个地方：

.addTransition(RMAppState.ACCEPTED,

　　EnumSet.of(RMAppState.SUBMITTED, RMAppState.FINAL_SAVING),

　　RMAppEventType.ATTEMPT_FAILED,

　　new AttemptFailedTransition(RMAppState.SUBMITTED))

.addTransition(RMAppState.RUNNING,

　　EnumSet.of(RMAppState.SUBMITTED, RMAppState.FINAL_SAVING),

　　RMAppEventType.ATTEMPT_FAILED,

　　new AttemptFailedTransition(RMAppState.SUBMITTED))

　　分别是RMAppState.ACCEPTED和RMAppState.RUNNING时遇到RMAppEventType.ATTEMPT_FAILED事件，这时候就会通过AttemptFailedTransition更新App的状态。

三 storeNewApplicationAttempt

　　什么时候存储ApplicationAttempt呢，图3 展示了storeNewApplicationAttempt的调用栈，两个调用的地方分别是AMContainerAllocatedTransition和ScheduleTransition。

图3 storeNewApplicationAttempt的调用关系

　　从RMAppAttemptImpl的状态机可以看到，RMAppAttemptState.SCHEDULED状态遇到RMAppAttemptEventType.CONTAINER_ALLOCATED事件时调用AMContainerAllocatedTransition，从而存储ApplicationAttempt状态。

.addTransition(RMAppAttemptState.SCHEDULED,

　　RMAppAttemptState.ALLOCATED_SAVING,

　　RMAppAttemptEventType.CONTAINER_ALLOCATED,

　　new AMContainerAllocatedTransition())

ScheduleTransition中存储的是UnmanageredAM的Attempt。

四． updateApplicationAttemptState

从图4可以看到updateApplicationAttemptState的调用关系，三个调用的地方分别是AMUnregisteredTransition，ContainerFinishedTransition，FinalSavingTransition。

图4 updateApplicationAttemptState的调用关系

　　从RMAppAttemptImpl的状态机可以看到，RMAppAttemptState.RUNNING遇到RMAppAttemptState.FINISHED事件时调用AMUnregisteredTransition，遇到RMAppAttemptEventType.CONTAINER_FINISHED时调用ContainerFinishedTransition。

.addTransition(RMAppAttemptState.RUNNING,

　　EnumSet.of(RMAppAttemptState.FINAL_SAVING, RMAppAttemptState.FINISHED),

　　RMAppAttemptEventType.UNREGISTERED, new AMUnregisteredTransition())

.addTransition(

　　RMAppAttemptState.RUNNING,

　　EnumSet.of(RMAppAttemptState.RUNNING, RMAppAttemptState.FINAL_SAVING),

　　RMAppAttemptEventType.CONTAINER_FINISHED,

　　new ContainerFinishedTransition())

调用FinalSavingTransition的地方比较多，如下所示，总结起来就是Attempt遇到非正常状态下的状态转换关系。

.addTransition(RMAppAttemptState.NEW, RMAppAttemptState.FINAL_SAVING,

　　RMAppAttemptEventType.KILL,

　　new FinalSavingTransition(new BaseFinalTransition(

　　RMAppAttemptState.KILLED), RMAppAttemptState.KILLED))

.addTransition(RMAppAttemptState.NEW, RMAppAttemptState.FINAL_SAVING,

　　RMAppAttemptEventType.REGISTERED,

　　new FinalSavingTransition(

　　new UnexpectedAMRegisteredTransition(), RMAppAttemptState.FAILED))

.addTransition(RMAppAttemptState.SUBMITTED, RMAppAttemptState.FINAL_SAVING,

　　RMAppAttemptEventType.APP_REJECTED,

　　new FinalSavingTransition(new AppRejectedTransition(),

　　RMAppAttemptState.FAILED))

.addTransition(RMAppAttemptState.SUBMITTED, RMAppAttemptState.FINAL_SAVING,

　　RMAppAttemptEventType.KILL,

　　new FinalSavingTransition(new BaseFinalTransition(

　　RMAppAttemptState.KILLED), RMAppAttemptState.KILLED))

.addTransition(RMAppAttemptState.SUBMITTED, RMAppAttemptState.FINAL_SAVING,

　　RMAppAttemptEventType.REGISTERED,

　　new FinalSavingTransition(

　　new UnexpectedAMRegisteredTransition(), RMAppAttemptState.FAILED))

.addTransition(RMAppAttemptState.SCHEDULED, RMAppAttemptState.FINAL_SAVING,

　　RMAppAttemptEventType.KILL,

　　new FinalSavingTransition(new BaseFinalTransition(

　　RMAppAttemptState.KILLED), RMAppAttemptState.KILLED))

.addTransition(RMAppAttemptState.ALLOCATED_SAVING,

　　RMAppAttemptState.FINAL_SAVING,

　　RMAppAttemptEventType.KILL,

　　new FinalSavingTransition(new BaseFinalTransition(

　　RMAppAttemptState.KILLED), RMAppAttemptState.KILLED))

.addTransition(RMAppAttemptState.LAUNCHED_UNMANAGED_SAVING,

　　RMAppAttemptState.FINAL_SAVING,

　　RMAppAttemptEventType.REGISTERED,

　　new FinalSavingTransition(

　　new UnexpectedAMRegisteredTransition(), RMAppAttemptState.FAILED))

.addTransition(RMAppAttemptState.LAUNCHED_UNMANAGED_SAVING,

　　RMAppAttemptState.FINAL_SAVING,

　　RMAppAttemptEventType.KILL,

　　new FinalSavingTransition(new BaseFinalTransition(

　　RMAppAttemptState.KILLED), RMAppAttemptState.KILLED))

.addTransition(RMAppAttemptState.ALLOCATED, RMAppAttemptState.FINAL_SAVING,

　　RMAppAttemptEventType.LAUNCH_FAILED,

　　new FinalSavingTransition(new LaunchFailedTransition(),

　　RMAppAttemptState.FAILED))

.addTransition(RMAppAttemptState.ALLOCATED, RMAppAttemptState.FINAL_SAVING,

　　RMAppAttemptEventType.KILL,

　　new FinalSavingTransition(

　　new KillAllocatedAMTransition(), RMAppAttemptState.KILLED))

.addTransition(RMAppAttemptState.ALLOCATED, RMAppAttemptState.FINAL_SAVING,

　　RMAppAttemptEventType.CONTAINER_FINISHED,

　　new FinalSavingTransition(

　　new AMContainerCrashedTransition(), RMAppAttemptState.FAILED))

.addTransition(RMAppAttemptState.LAUNCHED, RMAppAttemptState.FINAL_SAVING,

　　RMAppAttemptEventType.CONTAINER_FINISHED,

　　new FinalSavingTransition(

　　new AMContainerCrashedTransition(), RMAppAttemptState.FAILED))

.addTransition(

　　RMAppAttemptState.LAUNCHED, RMAppAttemptState.FINAL_SAVING,

　　RMAppAttemptEventType.EXPIRE,

　　new FinalSavingTransition(EXPIRED_TRANSITION,

　　RMAppAttemptState.FAILED))

.addTransition(RMAppAttemptState.LAUNCHED, RMAppAttemptState.FINAL_SAVING,

　　RMAppAttemptEventType.KILL,

　　new FinalSavingTransition(new FinalTransition(

　　RMAppAttemptState.KILLED), RMAppAttemptState.KILLED))

.addTransition(

　　RMAppAttemptState.RUNNING, RMAppAttemptState.FINAL_SAVING,

　　RMAppAttemptEventType.EXPIRE,

　　new FinalSavingTransition(EXPIRED_TRANSITION,

　　RMAppAttemptState.FAILED))

.addTransition(

　　RMAppAttemptState.RUNNING, RMAppAttemptState.FINAL_SAVING,

　　RMAppAttemptEventType.KILL,

　　new FinalSavingTransition(new FinalTransition(

　　RMAppAttemptState.KILLED), RMAppAttemptState.KILLED))

五．storeRMDelegationTokenAndSequenceNumber

安全部分，暂时略过

六．storeRMDTMasterKey

安全部分，暂时略过

RM如何存储状态信息

RMStateStore只实现了存储状态的接口，具体的存储方法由实现类完成，RMStateStore的实现类如图5所示。

图5 RMStateStore的实现类

　　NullRMStateStore的实现都为空方法。

　　MemoryRMStateStore使用RMStats对象存储所有RM的状态，并在内存中维护。

FileSystemRMStateStore中，由配置yarn.resourcemanager.fs.state-store.uri决定存储的位置，由代码：

fs = fsWorkingPath.getFileSystem(conf)

和图6可以看出，存储的位置可以是本地文件系统，也可以是HDFS。

图6 Hadoop文件系统的实现类

　　ZKRMStateStore，很明显，实现了把RM状态存储到ZK上，目录结构如下所示：

ROOT_DIR_PATH

* |--- VERSION_INFO

* |--- RM_ZK_FENCING_LOCK

* |--- RM_APP_ROOT

* | |----- (#ApplicationId1)

* | | |----- (#ApplicationAttemptIds)

* | |

* | |----- (#ApplicationId2)

* | | |----- (#ApplicationAttemptIds)

* | ....

* |

* |--- RM_DT_SECRET_MANAGER_ROOT

* |----- RM_DT_SEQUENTIAL_NUMBER_ZNODE_NAME

* |----- RM_DELEGATION_TOKENS_ROOT_ZNODE_NAME

* | |----- Token_1

* | |----- Token_2

* | ....

* |

* |----- RM_DT_MASTER_KEYS_ROOT_ZNODE_NAME

* | |----- Key_1

* | |----- Key_2

* ....

　　具体实现原理可以参考ZooKeeper官网http://zookeeper.apache.org，需要注意的是，在ZKRMStateStore中，所有对ZK的操作都加上了隔离机制，防止多个client对ZK同一目录的操作。

RM什么时候还原状态

这一块比较简单，从图7可以看出，只有在RMActiveService启动的时候才会调用loadState方法，加载已经存储的RM的状态。需要指出的是，RM支持HA后，RM中的服务已经分为Always on和Active两部分，Always on的服务会在Active和Standby RM上启动，而Active服务只会在Active RM上启动，而RM启动后默认进入Standby，当前只能手动出发RM转换为Active，这时候RM就会加载已经存储的状态并还原了。

图7，loadState的调用图

RM如何还原状态

　　和"RM如何存储状态信息"相对应，还原也是通过四个实现类完成相应的加载方法：

　　NullRMStateStore的加载方法为空方法。

　　MemoryRMStateStore通过生成新的RMStats对象并把原有的状态存储到新的RMStats对象中。

　　FileSystemRMStateStore通过加载文件系统上的文件内容，还原存储状态到RMState对象中。

　　ZKRMStateStore通过加载ZK上的状态信息，还原存储状态到RMState对象中。

　　这部分比较简单，可以通过查看相应的实现方法了解具体的还原过程。

小结

　　本文通过分析RMStateStore接口，对RM HA中状态存储与还原部分做了详细的描述，读者如果有任何问题都可以留言咨询。接下来我还将分析RMApp和RMAppattempt状态转换机制，继续期待！

[RM HA4] RM状态存储与还原原理详解的更多相关文章

  1. Zigbee组网原理详解

    Zigbee组网原理详解 来源:互联网 作者:佚名2015年08月13日 15:57   [导读] 组建一个完整的zigbee网状网络包括两个步骤:网络初始化.节点加入网络.其中节点加入网络又包括两个 ...

  2. 锁之“轻量级锁”原理详解(Lightweight Locking)

    大家知道,Java的多线程安全是基于Lock机制实现的,而Lock的性能往往不如人意. 原因是,monitorenter与monitorexit这两个控制多线程同步的bytecode原语,是JVM依赖 ...

  3. TOMCAT原理详解及请求过程（转载）

    转自https://www.cnblogs.com/hggen/p/6264475.html TOMCAT原理详解及请求过程 Tomcat: Tomcat是一个JSP/Servlet容器.其作为Ser ...

  4. 【转载】JAVA消息服务JMS规范及原理详解

    转载:https://www.cnblogs.com/molao-doing/articles/6557305.html 作者: moyun- 一.简介 JMS即Java消息服务(Java Messa ...

  5. JAVA消息服务JMS规范及原理详解

    JAVA消息服务JMS规范及原理详解 一.简介 JMS即Java消息服务(Java Message Service)应用程序接口,是一个Java平台中关于面向消息中间件(MOM)的API,用于在两个应 ...

  6. [No0000126]SSL/TLS原理详解与WCF中的WS-Security

    SSL/TLS作为一种互联网安全加密技术 1. SSL/TLS概览 1.1 整体结构 SSL是一个介于HTTP协议与TCP之间的一个可选层,其位置大致如下: SSL:(Secure Socket La ...

  7. Namenode HA原理详解（脑裂）

    转自:http://blog.csdn.net/tantexian/article/details/40109331 Namenode HA原理详解 社区hadoop2.2.0 release版本开始 ...

  8. (转)MySQL备份原理详解

    MySQL备份原理详解 原文:http://www.cnblogs.com/cchust/p/5452557.html 备份是数据安全的最后一道防线,对于任何数据丢失的场景,备份虽然不一定能恢复百分之 ...

  9. Java网络编程和NIO详解6：Linux epoll实现原理详解

    Java网络编程和NIO详解6:Linux epoll实现原理详解 本系列文章首发于我的个人博客:https://h2pl.github.io/ 欢迎阅览我的CSDN专栏:Java网络编程和NIO h ...

随机推荐

  1. simplexml_load_string 解析gb2312编码的xml

    <?php header('Content-type:text/html;charset=UTF-8'); $url = 'http://www.xxx.com/text.xml'; $cont ...

  2. mysql卸载注意事项

    由于数据库软件十分的复杂,不管是Mysql还是sqlserver安装都有很多配置要选择. 假若你第一次安装数据库失败,然后又想卸载,又再次安装,这时可能由于你第一次的卸载不完全,会导致你第二次安装时出 ...

  3. SQL Server 2008 的安装

    SQL Server 2008简体中文企业版下载(SQL2008) SQL Server 2008分为SQL Server 2008企业版.标准版.工作组版.Web版.开发者版.Express版.Co ...

  4. PBOC电子钱包与电子现金及QPBOC

    电子钱包:EP 电子现金:EC,在PBOC规范中的13部分定义了<基于借贷记应用的小额支付规范中> QPBOC:在PBOC规范的12部分中定义了<费接触式IC卡支付规范> PB ...

  5. preseed.cfg分区设定案例

    很久之前做ubuntu的PXE配置ubuntu的preseed费了很大的力气,总结的不多,现在温习一下. 就我所接触的,有分区普通磁盘,LVM,和raid三种方式.其中前两中方式比较多,raid方式是 ...

  6. "Mac OS X"想要进行更改。键入管理员的名称和密码以允许执行此操作("Mac OS X"想使用系统钥匙串)

    不知什么时候开始,每次我在运行xcode在真机上,或者archive打包的时间,都会弹出输入用户名和密码的框,搞的烦死了: 解决方法: 打开钥匙串访问 双击那些密钥弹出框: 改变到允许所有应用程序访问 ...

  7. 学习Linux第七天

    1.shell echo $HOME 默认在shell中编写的变量全部是局部变量,如果重新打开console的话,那么这些变量将全部丢失,全局的变量可以写在文件~/.bashrc文件. 2.判断 !/ ...

  8. django-CSRF verification failed. Request aborted

    现象: 解决办法1: 在view.py文件中设置如下: from django.views.decorators.csrf import csrf_exempt @csrf_exempt #再写下面的 ...

  9. jquery 提示简单效果插件 cluetip

    介绍一个不错的jquery插件-cluetip 我们在做web项目的时候,经常会使用到提示效果.html自带的提示效果是label标签的title,但是这个效果过于简单和难看,并且不方便调整样式. 今 ...

  10. 【BZOJ】【1005】【HNOI2008】明明的烦恼

    Prufer序列/排列组合+高精度 窝不会告诉你我是先做了BZOJ1211然后才来做这题的>_>(为什么?因为我以前不会高精度呀……) 在A了BZOJ 1211和1089之后,蒟蒻终于有信 ...