spark机制理解（一）

一  基本术语

　　Application:  基于Spark的用用户程序,包含了Driver程序和集群上的Executor.

　　Driver Program: 运行行main函数并且新建SparkContext的程序.

　　Cluster Manager: 在集群上获取资源的外部服务(例如:standalone,Mesos,Yarn ).

　　Worker Node:集群中任何可以运行行应用用代码的节点.

　　Executor: 是在一一个Worker Node上为某应用用启动的一一个进程,该进程负责运行行任务,并且负责将数据存在内存或者磁盘上。每个应用用都有各自自独立立的executors.

　　Task:被送到某个executor上的工工作单元.

　　Job:包含很多任务的并行行计算,可以看做和Spark的action对应.

　　Stage:一一个Job会被拆分很多组任务,每组任务被称为Stage(就像Mapreduce分map任务和reduce任务一一样).

二  RDD介绍

　　RDD是spark最根本的数据抽象, 它是一个数据集合, Spark的运行过程就是创建RDD, 并从一种RDD向另一种新的RDD转换, 最后将这些RDD上的数据收集, 从而得到我们想要的结果. RDD有以下五种属性(可以将RDD计算存储模型图):

　　(1) 分区属性: 每个RDD包好多个分区, 这既是RDD的数据单位, 也是计算粒度, 每个分区在由一个Task线程处理. 在RDD创建的时候可以指定分区的个数, 如果没有指定, 那么, 默认分区的个数是CPU的核数. 每一块的分区对应一个内存上的bloak, 由BlockManager分配.

　　(2) 计算属性: RDD不仅包含有数据, 还有在数据上的计算, 每个RDD以分区为计算粒度, 每个RDD会实现compute函数, compute函数会和迭代器(RDD之间转换的迭代器)进行复合, 这样就不需要保存每次compute函运行的结果.

　　(3) 依赖属性: Spark的运行过程就是RDD之间的转换, 因此, 必须RDD之间的生成关系(新RDD是由哪个或哪几个RDD生成), 这就是所谓的依赖关系, 这样既有助于阶段和任务的划分, 也有助于在某个分区出错的时候, 只需要重新计算与当前出错的分区的有关的分区,而不需要计算所有的分区.

　　(4)分片属性: 这个属性指的是RDD的partitioner函数(分片函数), 分区函数就是将数据元分配到指定的分区, 这个目前实现了HashPartitioner和RangePartitioner, 只有key-value的RDD才会有分片函数, 否则为none. 分片函数不仅决定了当前分片的个数, 同时决定parent shuffle RDD的输出的分区个数.

　　(5)列表属性: 也就是说, 每个RDD会报粗一个列表, 而这个列表保存着分片优先分配给哪个Worker节点计算, spark坚持移动计算而布移动数据的原则. 也就是尽量在存储数据的节点上进行计算.

图 1  RDD的计算模型和存储模型

三  spark运行机制　　

　　Spark运行主要分为三部分：RDD的创建和转换，DAGScheduler划分任务并生成TaskSet，TaskScheduler将任务调度给Worker运行。

　　具体的分为下面四个过程, 可以结合图 2一起看, 这部分主要来自这篇骗博客, 这篇博客有例子,很详细,:

　　(1) SparkContext(RDD相关操作): 在这个过程, 每次转换(transform)会创建一个新的RDD.

　　　　→通过(提交RDD集合)

　　(2) DAGScheduler(遍历RDD拆分Stage,生成作业): 这个过程会创建执行计划, Spark 会尽可能地管道化, 并基于是否要重新组织数据来划分阶段 (Stage).

　　　　→通过（提交任务集TaskSet）

　　(3) TaskScheduler: (任务调度管理): 这个过程调度任务, 将各阶段划分成不同的任务(Task), 每个任务都是数据和计算的合体, 在进行下一阶段前, 当前阶段的所有任务都要执行完成, 因为下一阶段的第一个转换一定是重新组织数据的, 所以必须等当前阶段所有结果数据都计算出来了才能继续.

　　　　→通过（按照资源获取任务)

　　(4) TaskSetManager: (任务调度管理)

　　Task管理和序列化：

　　Task的运行要解决的问题不外乎就是如何以正确的顺序, 有效地管理和分派任务. 如何将Task及运行所需相关数据有效地发送到远端，以及收集运行结果

　　Task的调度源起于DAGScheduler调用TaskScheduler.submitTasks将一个Stage相关的任务集合(TaskSet)一起提交给TaskScheduler调度.

　　TaskSchedulerImpl是TaskSchedulerImpl的实现, 在TaskSchedulerImpl中, 这一组Task被交给一个新的TaskSetManager实例进行管理, 所有的TaskSetManager经由SchedulableBuilder根据特定的调度策略进行排序,

　　TaskSchedulerImpl的resourceOffers函数中，当前被选择的TaskSetManager的ResourceOffer函数被调用并返回包含了序列化任务数据的TaskDescription，最后这些TaskDescription再由SchedulerBackend派发到ExecutorBackend去执行

　　序列化的过程中，App依赖文件相关属性URL等通过DataOutPutStream写出，而Task本身通过可配置的Serializer来序列化，当前可配制的Serializer包括如JavaSerializer ，KryoSerializer等

　　Task的运行结果在Executor端被序列化并发送回SchedulerBackend，由于受到Akka Frame Size尺寸的限制，如果运行结果数据过大，结果会存储到BlockManager中，这时候发送到SchedulerBackend的是对应数据的BlockID，TaskScheduler最终会调用TaskResultGetter在线程池中以异步的方式读取结果，TaskSetManager再根据运行结果更新任务状态（比如失败重试等）并汇报给DAGScheduler等

图 2 任务调度过程

参考资料

1. Spark RDD简介与运行机制概述

2. Spark技术内幕 深入解析Spark内核架构设计与实现原理[M]