Spark源码学习1.7——Master.scala

master第一步是加载系统定义的环境变量，如worker的超时时间、系统保留的Application数目等；第二步，加载worker的信 息，地址、id等；第三步，加载Application的信息，例如运行地址、等待的Application、完成的Application等；第四步， 加载驱动的信息，driver的信息用来帮助调度；第五步，启动监控端口和webUI。

1、prestart()：启动前文所述的加载信息，打印log信息。

2、preRestart()：重新启动master。

3、postStop()：关闭webUI、ApplicationMetricsSystem应用测度系统等服务。

4、receiveWithLogging()：master的功能函数，包括处理worker申请请求、变更驱动器状态、处理心跳反应等等。一般不会对这些做出更改。

5、beginRecovery()和comleteRecovery()：对app、driver和worker进行恢复处理。

6、scheduler()：当新的app加入或者可用资源发生变化时，调用scheduler方法重新为等待的app分配资源（默认采用FIFO调度方式）。分配app给节点时，先尽量分配所有的core，然后再分配节点，这样可以分配尽量少的节点。

7、launchExecutor()：在worker中添加新的Executor。

8、registerWorker()：注册worker，同时清除该worker所在节点的无反应的worker的信息或者对其重新注册（也就是说，一个node上可能有很多个worker咯）。

9、removeWorker()：移除worker。

10、其他对app和driver进行管理的方法，如create、register、complete等。