Spark核心概念

1、Application

    基于spark的用户程序，包含了一个Driver Program以及集群上中多个executor；

    spark中只要有一个sparkcontext就是一个application；

    启动一个spark-shell也是一个application，因为在启动shark-shell时就内置了一个sc(SparkContext的实例)；

 

2、Driver Program

    运行Application的main()函数并且创建SparkContext的程序。通常用SparkContext代表Driver Program；

 

3、Cluster Manager

    在集群上获取资源的外部服务。如：standalone、yarn、mesos；

　 各种不同的集群的区别：只是任务调度的粗细粒度不同，对学习spark没有影响，自己在学习时使用standalone即可；

 

4、Worker Node

    集群中任何一个可以运行Application代码的节点；

    可以在Worker Node启动Executor进程；

 

5、Executor

    在Worker Node上为某Application启动一个进程，该进程负责运行任务，并且负责将数据存在硬盘或者内存中；每个Application都有各自独立的executors；

    比如：应用A在一个Node上启动Executor，B应用也在同一个Node上启动Executor，他们各自的Executor是相互隔离的，运行在不同的JVM上。不同的应用对应不同的Executor；

 

6、Job

    包含很多task的并行计算，spark中的一个action对应一个job，如：collect、count、saveAsTextFile；

    用户提交的Job会提交给DAGScheduler，Job会被分解成Stage(TaskSet) DAG；

    RDD的transformation只会记录对元数据的操作(map/filter)，而并不会真正执行，只有action触发时才会执行job；

 

7、Stage

    每个Job会被拆分成多组任务，每组任务被称为一个Stage,可称为TaskSet；

    一个stage的边界往往是从某个地方取数据开始(如：sc.readTextFile)，在shuffle时(如：join、reduceByKey等)终止；

    一个job的结束(如：count、saveAsTextFile等)往往也是一个stage的边界；

    有两种类型的Stage：shuffle和result；

 

8、Task

    被送到executor上的工作单元；

    spark分为2类task：

    在Spark中有两类Task：shuffleMapTask和ResultTask，第一类Task的输出是shuffle所需数据，第二类task的输出是result；

　 stage的划分也以此为依据，shuffle之前的所有变换是一个stage，shuffle之后的操作是另一个stage；

    比如：rdd.parallize(1 to 10).foreach(println)这个操作没有shuffle，直接就输出了，那么它的task就是resulttask，stage也只有一个；

    如果rdd.map((x,1)).reduceByKey(_+_).foreach(println)，这个job因为有reduce，所以有个一shuffle过程，那么reduceByKey之前是一个stage，执行shuffleMapTask，输出shuffle所需要的数据，reduceByKey到最后是一个stage，直接就输出结果了。

    如果一个job中有多次shuffle，那么每个shuffle之前都是一个stage；

 

9、Partition

    partition类似hadoop的split，计算是以partition为单位进行的

详细信息参见官方文档：http://spark.apache.org/docs/latest/cluster-overview.html