Spark运行架构及作业提交流程

1、yarn-cluster模式：

（1）client客户端提交spark Application应用程序到yarn集群。

（2）ResourceManager收到了请求后，在集群中选择一个NodeManager来为应用程序分配container容器，并启动该应用程序的ApplicationMaster。

（3）ApplicationMaster 向 ResourceManager 注册，并为各个任务申请container资源。

（4）ApplicationMaster申请到资源后，便于对应的NodeManager进行通信，要求其在container容器中，启动Excutor。Excutor启动之后，会向ApplicationMaster反向注册，并申请task。

（5）ApplicationMaster分配task给Excutor，Excutor运行task，并向ApplicationMaster汇报运行的状态和进度。

（6）所有任务执行完毕，ApplicationMaster向ResourceManager注销自己。

补充：各个任务的运行状态，是从Excutor向ApplicationMaster汇报，ApplicationMaster可在任务失败时重新启动任务。

　　　ApplicationMaster向ResourceManager汇报，从而使用者可以在yarn的任务监控界面观测到各个任务运行的状态。