Spark学习（二） -- Spark整体框架

标签（空格分隔）： Spark

---

还记得上次的wordCount程序嘛？通过这个小程序，我们来一窥Spark的框架是什么样子的。

sc.textFile("/usr/local/Cellar/apache-spark/1.3.0/README.md").flatMap(line => line.split(" ")).map(w => (w, 1)).reduceByKey(_+_).foreach(println)

整个单词统计的过程可以分为4个阶段：1）读取文件；2）单词分割；3）单词计数；4）单词归并。前三步都是非常容易并行的，但最后一步的并行度并不是很高。

RDD

将上面的单词计数操作用另一种形式表示：

Data1 ---Operation1---> Data2 ---Operation2---> Data3 ...... -->DataN

所以，整个过程其实就是在不断的进行数据输入和数据处理。

RDD(Resilient Distributed Dataset)，弹性分布式数据集，用来包装数据输入和数据处理，其主要特点是：

• 数据全集被分割为多个正相交的子集，每个子集可以被派发到任一计算节点进行处理；
• 计算的中间结果会被保存。出于可靠性，同一个计算结果会被保存于多个计算节点；
• 如果其中某一数据子集在处理中出现问题，针对该子集的处理会被重新调度进而重新处理。

Operation

Operation有两种类型：Transformation和Action。

• Transformation是领取任务的过程；
• Action则是真正触发执行的过程。

Spark的运行框架

1. 作业提交

Spark在接收到提交的作业后，会进行如下处理：

• RDD之间的依赖性分析。RDD之间形成一个有向无环图，这个依赖关系的分析和判断由DAGScheduler负责；
• 根据DAG的分析结果将一个作业分成多个Stage。划分Stage的一个主要依据就是当前的计算因子输入是否是确定的，如果是则划分在一个Stage中；
• DAGScheduler确定完Stage之后，会向TaskScheduler提交任务集，而TaskScheduler负责将这些任务一一分到集群的计算节点。

2. 集群节点的构成

Spark集群由4个节点构成：Driver, Master, Worker, Executor.