【原】SparkContex源码解读（二）

版权声明：本文为原创文章，未经允许不得转载。

继续前一篇的内容。前一篇内容为：

SparkContex源码解读（一）http://www.cnblogs.com/yourarebest/p/5326678.html

5.SparkContext如何在三种部署模式Standalone、YARN、Mesos下实现任务的调度

SparkContext中有一句关键性的代码：

//根据master(masterURL)及SparkContext对象创建TaskScheduler，返回SchedulerBackend及TaskScheduler

val (sched, ts) = SparkContext.createTaskScheduler(this, master)

createTaskScheduler方法如下所示：

1.首先是匹配masterURL的正则表达式，从而判断程序的运行是那种模式

private def createTaskScheduler(

sc: SparkContext,

master: String): (SchedulerBackend, TaskScheduler) = {

//匹配local[N] 和 local[]

val LOCAL_N_REGEX = """local[([0-9]+|*)]""".r

// 匹配local[N, maxRetries], maxRetries表示失败后的最大重复次数

val LOCAL_N_FAILURES_REGEX = """local[([0-9]+|*)\s,\s([0-9]+)]""".r

// 匹配local-cluster[N, cores, memory]，它是一种伪分布式模式

val LOCAL_CLUSTER_REGEX = """local-cluster[\s([0-9]+)\s,\s([0-9]+)\s,\s([0-9]+)\s]""".r

//匹配 Spark Standalone集群运行模式

val SPARK_REGEX = """spark://(.)""".r

// 匹配 Mesos集群资源管理器运行模式匹配 mesos:// 或 zk:// url val MESOS_REGEX = """(mesos|zk)