【Spark2.0源码学习】-4.Master启动

     Master作为Endpoint的具体实例，下面我们介绍一下Master启动以及OnStart指令后的相关工作

 

一、脚本概览

     下面是一个举例：

/opt/jdk1..0_79/bin/java
-cp /opt/spark-2.1./conf/:/opt/spark-2.1./jars/*:/opt/hadoop-2.6.4/etc/hadoop/
-Xmx1g
-XX:MaxPermSize=256m
org.apache.spark.deploy.master.Master
--host zqh
--port 7077
--webui-port 8080

 

二、启动流程

     Master的启动流程如下：

     

• SparkConf：加载key以spark.开头的系统属性（Utils.getSystemProperties）
• MasterArguments：
  • 解析Master启动的参数（--ip -i --host -h --port -p --webui-port  --properties-file）
  • 将--properties-file（没有配置默认为conf/spark-defaults.conf）中spark.开头的配置存入SparkConf
• NettyRpcEnv中的内部处理遵循RpcEndpoint统一处理，这里不再赘述
• BoundPortsResponse返回rpcEndpointPort，webUIPort，restPort真实端口
• 最终守护进程会一直存在等待结束信awaitTermination

三、OnStart监听事件

     Master的启动完成后异步执行工作如下：

     

• 【dispatcher-event-loop】线程扫描到OnStart指令后会启动相关MasterWebUI(默认端口8080），根据配置选择安装ResetServer（默认端口6066）
• 另外新起【master-forward-message-thread】线程定期进行worker心跳是否超时
• 如果Worker心跳检测超时，那么对Worker下的发布的所有任务所属Driver进行ExecutorUpdated发送，同时自己在重新LaunchDriver

 

四、RpcMessage处理(receiveAndReply)

 

消息实例	发起方	接收方	说明
RequestSubmitDriver	Client	Master	提交驱动程序
RequestKillDriver	Client	Master
RequestDriverStatus	Client	Master
RequestMasterState	MasterWebUI	Master
BoundPortsRequest	Master	Master
RequestExecutors	StandaloneAppClient	Master
KillExecutors	StandaloneAppClient	Master

 

五、OneWayMessage处理(receive)

消息实例	发起方	接收方	说明
ElectedLeader	Master	Master
CompleteRecovery	Master	Master
RevokedLeadership	Master	Master
RegisterWorker	Worker	Master
RegisterApplication	StandaloneAppClient	Master
UnregisterApplication	StandaloneAppClient	Master
ExecutorStateChanged	Worker/ExecutorRunner	Master
DriverStateChanged	DriverRunner/Master	Master
Heartbeat	Worker	Master
MasterChangeAcknowledged	StandaloneAppClient	Master
WorkerSchedulerStateResponse	Worker	Master
WorkerLatestState	Worker	Master
CheckForWorkerTimeOut	Master	Master

 

五、Master对RpcMessage/OneWayMessage处理逻辑（选读）

     这部分对整体Master理解作用不是很大且理解比较抽象，可以先读后续内容，回头再考虑看这部分内容，或者不读