《深入理解Spark-核心思想与源码分析》（六）第六章计算引擎

RDD是Spark对各类数据计算模型的统一抽象，被用于迭代计算过程以及任务输出结果的缓存读写。

在所有MapReduce框架中，shuffle是连接map任务和reduce任务的桥梁。shuffle性能优劣直接决定了

整个计算引擎的性能和吞吐量。

6.1 迭代计算

MappedRDD的iterator方法

6.2 什么是shuffle

shuffle是所有MapReduce计算框架所必须经过的阶段，shuffle用于打通map任务的输出与reduce任务的输入，

map任务的中间输出结果按照key值哈希后分配给某一个reduce任务。

目前Spark的shuffle已经做了多种性能优化，主要解决方案包括：

1>将map任务输出的bucket（给每个partition的reduce）合并到同一个文件中，这解决了bucket数量很对多，但是本身数据体积不大

时，造成shuffle很频繁，磁盘I/O成为性能瓶颈的问题。

2>map任务逐条输出计算结果，而不是一次性输出到内存中，并使用缓存及其聚合算法对中间结果进行聚合，大大减小了中间结果所占的内存大小。

3>缓存溢出判断，超过大小时，将数据写入磁盘，防止内存溢出

4>reduce任务对拉取到的map任务中间结果逐条读取，而不是一次性读入内存，并在内存中使用聚合和排序，大大减少了数据占用内存

5>reduce任务将要拉取的Block按照BlockManager地址划分，然后将同一BlockManager地址中的Block累计为少量网络请求，减少网络I/O

6.3 map端计算结果缓存处理

首先理解两个概念：

bypassMergeThreshold：传递到reduce端再做merge操作的阈值。默认200

bypassMergeSort：标记是否传递到reduce端再做合并和排序

map端计算结果缓存有三种处理方式：
1.map端对计算结果在缓存中执行聚合和排序。

2.map不适用缓存，也不执行聚合和排序，直接调用spillToPartitionFiles将各个partition直接写到自己存储文件，

最后由reduce端对计算结果执行合并和排序。

3.map端对计算结果简单缓存。

6.3.1 map端结算结果缓存聚合

在一个任务的分区数量通常很多，如果只是简单地将数据存储到Executor上。在执行reduce任务时会存在大量的网络I/O操作。

这时网络I/O将成为系统性能的瓶颈，reduce任务读取map任务的计算结果变慢，导致其他任务不得不选择分配到更远的节点。

通过在map端对计算结果在缓存中执行聚合和排序，能够节省I/O操作，进而提升系统性能。

6.3.2 map端计算结果简单缓存

6.3.3 容量限制

AppendOnlyMap和SizeTrackingPairBuffer的容量都可以增长，那么数据量不大的时候不会有问题。

由于大数据处理的数据量往往都比较大，全部都放入内存内会将系统内存撑爆，Spark为了防止这个问题，

提供函数maybeSpillConllection。

6.4 map端计算结果持久化

wirtePartitionFile用于持久化计算结果。

1.溢出到分区文件后合并：将内存中缓存的多个partition的计算结果分别写入临时Block文件，再将这些Block文件的内容全部写入到Block输出文件中。

2.内存中排序合并：将缓存的中间计算结果按照partition分组后写入Block输出文件。

6.4.1 溢出分区文件

每个map任务实际最后只会生成一个磁盘文件。

6.4.2 排序与分区分组

partitionedIterator 通过对集合按照指定的比较器进行比较，按照partition id分组，生成迭代器。

6.4.3 分区索引文件

6.5 reduce端读取中间计算结果

6.5.1 获取map任务状态

6.5.2 划分本地与远程Block

6.5.3 获取远程Block

sendRequest方法用于远程请求中间结果。

sendRequest利用FetchRequest里封装的BlockId、size、address等信息。

调用shuffleClient的fetchBlocks方法获取其他节点上的中间结果。

6.5.4 获取本地Block

fetchLocalBlock用于对本地中间计算结果的获取。

6.6 reduce端计算

6.6.1 如何同时处理多个map任务的中间结果

6.6.2 reduce端在缓存中对中间计算结果执行聚合和排序

6.7 map端和reduce端组合分析

6.7.1 在map端溢出分区文件，在reduce端合并组合

6.7.2 在map端简单缓存、排序分组，在reduce端合并组合

6.7.3 在map端缓存中聚合、排序分组，在reduce端组合

6.8 小结

　　本章从迭代计算的层层剥离开始，分析了map和reduce任务的处理逻辑。