Spark-源码-TaskScheduler初始化过程, ClientActor向Master发送注册任务信息过程

Spark版本 1.3
Spark源码 Spark.createTaskScheduler TaskScheduler初始化过程

1.// SparkContext中
/**
 * Create a task scheduler based on a given master URL.
 * Return a 2-tuple of the scheduler backend and the task scheduler.
 */
private def createTaskScheduler(
      sc: SparkContext,
      master: String): (SchedulerBackend, TaskScheduler) = {

	// Regular expression used for local[N] and local[*] master formats
	// 一些关于模式的变量 这里只列举一个 (local[N] and local[*]);
	// 其他的还有 local[N, maxRetries], a Spark cluster of [N, cores, memory] locally,
	// Spark deploy clusters, Mesos cluster, Simr cluster
    val LOCAL_N_REGEX = """local\[([0-9]+|\*)\]""".r

    // When running locally, don't try to re-execute tasks on failure.
    // 他说本地模式下当任务失败的时候, 不会重试运行任务...
    val MAX_LOCAL_TASK_FAILURES = 1

    master match {
    	case "local" =>
    		...

    	// spark的StandAlone模式
      	case SPARK_REGEX(sparkUrl) =>
	        // 创建了一个TaskSchedulerImpl
	        val scheduler = new TaskSchedulerImpl(sc)
	        val masterUrls = sparkUrl.split(",").map("spark://" + _)
	        // 创建了一个SparkDeploySchedulerBackend, 他到底是怎么创建的? 详见下文 1.1
	        val backend = new SparkDeploySchedulerBackend(scheduler, sc, masterUrls)
	        // 调用initialize创建调度器 相见下文 1.2
	        // 下文会查看initialize方法~, 了解TaskScheduler的初始化过程
	        scheduler.initialize(backend)
	        (backend, scheduler)

	    case LOCAL_CLUSTER_REGEX(numSlaves, coresPerSlave, memoryPerSlave) =>
	    	...
    }
}

1.1 val backend = new SparkDeploySchedulerBackend(scheduler, sc, masterUrls)

class SparkDeploySchedulerBackend(
    scheduler: TaskSchedulerImpl,
    sc: SparkContext,
    masters: Array[String])
  extends CoarseGrainedSchedulerBackend(scheduler, sc.env.actorSystem)	//注意这里传入了一个ActorSystem
  with AppClientListener
  with Logging {
	...

	override def start() {
	// 首先调用父类的start方法来创建DriverActor
	// 用于和Executor通信, 将任务发送给Executor
	// 详见下文 1.1.1
	super.start()

	// 准备一些参数，以后把这些参数封装到一个对象中，然后将该对象发送给Master
	val driverUrl ...

	// 重要: CoarseGrainedExecutorBackend 这个参数是以后Executor的实现类
	// 把任务信息参数封装到 Command
    val command = Command("org.apache.spark.executor.CoarseGrainedExecutorBackend",
    	args, sc.executorEnvs, classPathEntries ++ testingClassPath, libraryPathEntries, javaOpts)

    // 最终的封装: 把command 和 任务资源信息 封装到ApplicationDescriptionval
    val appDesc = new ApplicationDescription(sc.appName, maxCores, sc.executorMemory, command,
    	appUIAddress, sc.eventLogDir, sc.eventLogCodec)

    // 创建一个AppClient, 把ApplicationDescription通过主构造器传进去
    client = new AppClient(sc.env.actorSystem, masters, appDesc, this, conf)

    // 然后调用AppClient的start方法，在start方法中创建了一个ClientActor
    // 其中像Master和Worker的actor一样需要preStart像Master注册
    // 其用于与Master通信, 用来发送任务信息 详见下文 1.1.2
    client.start()
    ...
}

1.1.1 super.start()
// 调用的是 CoarseGrainedSchedulerBackend.start (粗粒度调度程序后端器)
class CoarseGrainedSchedulerBackend(scheduler: TaskSchedulerImpl, val actorSystem: ActorSystem)
  extends ExecutorAllocationClient with SchedulerBackend with Logging{
  	...

	override def start() {
	    ...
	    // (prashant) send conf instead of properties
	    // 通过创建本粗粒度调度程序后端器时传入的ActorSystem, 在Driver端创建DriverActor
	    // 其用来和Excutor交互, 将任务发送给Executor
	    driverActor = actorSystem.actorOf(
	      Props(new DriverActor(properties)), name = CoarseGrainedSchedulerBackend.ACTOR_NAME)
	}
	...
}

// TaskScheduler的初始化过程, 在TaskSchedulerImpl中他的简介是这么写的