Spark源码分析（三）-TaskScheduler创建

原创文章，转载请注明： 转载自http://www.cnblogs.com/tovin/p/3879151.html

　　

　　在SparkContext创建过程中会调用createTaskScheduler函数来启动TaskScheduler任务调度器，本文就详细分析TaskScheduler的工作原理：

　　TaskScheduler会根据部署方式而选择不同的SchedulerBackend来处理

　　　　

　　　　

　　　　下图展示了TaskScheduler、TaskSchedulerImpl、SchedulerBackend等任务调度相关类之间的关系

　　　　针对不同部署方式会有不同的TaskScheduler与SchedulerBackend进行组合：

　　　　　　Local模式：TaskSchedulerImpl + LocalBackend

　　　　　　Spark集群模式：TaskSchedulerImpl + SparkDepolySchedulerBackend

　　　　　　Yarn-Cluster模式：YarnClusterScheduler + CoarseGrainedSchedulerBackend

　　　　　　Yarn-Client模式：YarnClientClusterScheduler + YarnClientSchedulerBackend

　　　　　　TaskScheduler类负责任务调度资源的分配，SchedulerBackend负责与Master、Worker通信收集Worker上分配给该应用使用的资源情况。

　　　　下面以Spark集群模式为例，分析在TaskSchedulerImpl与SparkDepolySchedulerBackend类中的具体操作

　　　　一个典型的任务调度模块主要功能就是获取集群资源信息，然后根据调度策略为任务分配资源，TaskSchedulermpl也是这个工作原理，分为资源收集与资源分配：

　　　　　　1、资源信息收集

　　　　　　　　SparkDepolySchedulerBackend类就是专门负责收集为Application分配的Worker的资源信息的，在它的父类CoarseGrainedSchedulerBackend

　　　　　　　　中的DriverActor就是与Worker通信的Actor。根据Spark源码分析（一）-Standalone启动过程文中介绍的Worker启动后会向Driver发送RegisterExecutor

　　　　　　　　消息，此消息中就包含了Executor为Application分配的计算资源信息，而接收该消息的Actor也正是DriverActor。

　　　　　　　　

　　　　2、资源分配

　　　　　　TaskSchedulerImpl类就是负责为Task分配资源的。在CoarseGrainedSchedulerBackend获取到可用资源后就会通过makeOffers方法通知

　　　　　　TaskSchedulerImpl对资源进行分配，TaskSchedulerImpl的resourceOffers方法就是负责为Task分配计算资源的，在为Task分配好资源后

　　　　　　又会通过lauchTasks方法发送LaunchTask消息通知Worker上的Executor执行Task

　　　　　　　　

　　　

　　最后，总结一下TaskScheduler相关知识。TaskScheduler是在Application执行过程中，为它进行任务调度的，是属于Driver侧的。对应于一个Application就会

　　有一个TaskScheduler，TaskScheduler和Application是一一对应的。TaskScheduler对资源的控制也比较鲁棒（所以会取名CoarseGrainedSchedulerBackend），

　　一个Application申请Worker的计算资源，只要Application不结束就会一直被占有。　　　

　　

原创文章，转载请注明： 转载自http://www.cnblogs.com/tovin/p/3879151.html