Spark系列(四)整体架构分析

架构流程图

说明 

Driver端流程说明(Standalone模式)

1. 使用spark-submit提交Spark应用程序Application.
2. 通过反射的方式创建和构造一个DriverActor进程(Driver进程).
3. SparkContext初始化，构造DAGScheduler和TaskScheduler.
4. 每执行到一个Action操作就会创建一个job,该job会提交到DAGScheduler，划分为多个stage然后为每个stage创建一个TaskSet.
5. TaskScheduler负责连接Master并向Master注册Application.
6. TaskScheduler把TaskSet中的每一个task提交到executor上执行(task分配算法).
7. SparkContext的初始化在所有Executor完成反向注册后才完成，并继续执行提交的应用程序.

Master和Worker流程说明

1. Master接收到Application注册请求后会使用自己的资源调度算法，在Spark集群的Work上为这个Application启动多个Executor.
2. Executor启动之后反注册到TaskScheduler.
3. Executor每次收到一个task都会用TaskRunner来封装task,然后从线程池里取出一个线程执行这个task.
4. TaskRunner将需执行的算子及函数、拷贝、反序列化然后执行task.

 

窄依赖
英文名:Narrow Depandency
一个RDD对它的父RDD,只有简单的一对一的依赖关系，也就是说RDD的每个partition仅仅依赖于父RDD中的一个partition.父RDD和子RDD的partition之间的对应关系为一对一

宽依赖
英文名：Shuffle Dependency
本质为Shuffle,每一个父RDD的partition中的数据，都可能会传输一部分到下一个RDD的每一个oartition.该情况下父RDD和子RDD的partition之间是多对一的关系