【Spark】RDD(Resilient Distributed Dataset)究竟是什么？

基本概念

官方文档

介绍RDD的官方说明：http://spark.apache.org/docs/latest/rdd-programming-guide.html

概述

含义

RDD (Resilient Distributed Dataset) 叫做 弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将数据缓存在内存中，后续的查询能够重用这些数据，这极大地提升了查询速度。

Resilient —— RDD中的数据优先装在内存当中进行处理，如果内存不够用了，就将数据放到磁盘上面去处理。

Distributed —— RDD中的数据是分布式存储的，可用于分布式计算。

Dataset —— 一个数据集合，用于存放数据的。

RDD出现的原因

RDD是Spark的基石，是实现Spark数据处理的核心抽象。

最初，第一代计算引擎为Hadoop的MapReduce时，开始可以使用代码来实现数据分析处理等。但这种方法需要使用大量代码，比较复杂，不算高效。

之后，第二代计算引擎——Hive出现后，使用hql来实现数据分析，摆脱了MapReduce的繁琐的代码。但这种方法的缺点依然比较明显，就是执行效率慢。

第三代计算引擎以impala、Spark为代表的内存计算框架，开始将数据尽量放到内存中计算，RDD的概念也伴随而生。

五大属性

- A list of partitions    分区列表

- A function for computing each split   作用在每一个文件切片上面的函数

- A list of dependencies on other RDDs  依赖于其他的一些RDD

- Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned) 可选项：对于key，value对的rdd，有分区函数

- Optionally, a list of preferred locations to compute each split on (e.g. block locations for

  an HDFS file) 可选项：数据的位置优先性来进行计算。移动计算比移动数据便宜

所谓移动计算比移动数据便宜，是指如果文件在哪一台服务器上面，就在哪一台服务器上面启动task进行运算，尽量避免数据的拷贝

1.对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算的粒度，如果文件的block个数小于等于2，那么默认分区为2，如果大于等于2，则分区数为block的个数。

2.Spark中每个RDD都会实现compute函数，以此来达到让RDD的计算都是以分片为单位的目的。compute函数会对迭代器进行复合，不需要保存每次计算的结果。

3.RDD每次转换都会生成一个新的RDD，所以RDD之间就会形成类似于流水线一样的前后依赖关系，在部分分区数据丢失时，Spark可以通过这个依赖关系重新计算丢失的分区数据，而不是对RDD的所有分区重新计算。

4.Spark中实现了两种类型的分片函数，一种是基于哈希的HashPartitioner，一种是基于范围的RangePartitioner。只有对于key-value的RDD才会有Partitioner，非key-value的RDD的Partitioner的值是None。Partitioner函数不但决定了RDD本身的分片数量，也决定了parent RDD Shuffle输出时的分片数量。

以单词统计为例，一张图熟悉RDD当中的五大属性

解构图

RDD弹性

一、自动进行内存以及磁盘文件切换

二、基于血统lineage的高效容错性。lineage记录了rdd之间的依赖关系

三、task执行失败自动进行重试

四、stage失败自动进行重试

五、checkpoint实现数据的持久化保存

基于RDDs之间的依赖，RDDs会形成一个有向无环图DAG，该DAG描述了整个流式计算的流程，实际执行的时候，RDD是通过血缘关系(Lineage)一气呵成的，即使出现数据分区丢失，也可以通过血缘关系重建分区

RDD特点

分区

只读

rdd当中的数据是只读的，不能更改

依赖

缓存

常用的rdd我们可以给缓存起来

checkpoint

对于一些常用的rdd我们也可以试下持久化