Spark 启动过程（standalone）

Spark启动过程

正常启动Spark集群时往往使用start-all.sh ，此脚本中通过调用start-master.sh和start-slaves.sh启动mater及workers节点。

1、  启动Master

a)         注册SignalLogger日志记录器

b)         创建名称为master的Actor 并启动，在启动master之前会：

i.              创建workers、apps、drivers等例表，用于记录相关信息

ii.              创建WebUi

iii.              创建及启动MetricsSystem用于监控系统状态

iv.              定期检查Worker状态，维护可用Worker列表

2、  启动Worker

a)         注册SignalLogger日志记录器

b)         创建名称为worker的Actor 并启动，在启动worker之前会：

i.              创建executors、drivers、finishedApps等列表，用于记录相关信息

ii.              创建及启动MetricsSystem用于监控worker状态

iii.              生成workerID，以时间串+host+port组成，其不可能重复。

iv.              创建worker工作目录

v.              向master注册worker

vi.              定期检查Worker状态，维护可用Worker列表

3、  Worker 向Master注册过程

a)         将worker被启动时，向master发送消息：master ! RegisterWorker(workerId, host, port, cores, memory, webUi.boundPort, publicAddress)。

b)         当master收到worker发磅的RegisterWorker消息后，先检测workerId是否已注册，

i.              若已注册，向worker发送sender ! RegisterWorkerFailed("Duplicate worker ID")消息

ii.              若未注册，则注册worker，将其信息记录worker相关的列表，如idToWorker、workers等中，并将其添加到persistenceEngine中，通知sender ! RegisteredWorker(masterUrl, masterWebUiUrl)

iii.              执行schedule()

c)         当worker收到master的反馈消息时：

i.              当消息内容为RegisteredWoker时，worker开启定期向master报活。开始报活后，若Master联系4个报活周期未收到worker心跳，则master认为worker已经不可用，从其维护的worker列表中移除连续未报活worker信息。若向master报活的worker并未在master维护的worker列表中，则master通知该worker重新进行注册。

ii.              若消息内容为RegisterWorkerFailed，则表示注册败，重试或退出。