Spark Streaming 的容错

Spark Streaming 为了实现容错特性，接收到的数据需要在集群的多个Worker 节点上的 executors 之间保存副本（默认2份）。当故障发生时，有两种数据需要恢复：

1. 已接收并且有副本的数据。当只有一台worker 发生故障时，这些数据不会丢失

2. 已接收但还没有副本的数据。只能从数据源重新获取

我们需要考虑两种发生故障的情况：

1. Worker 节点故障。如果receiver 运行在发生故障的worker 上，缓存的数据将丢失。

2. Driver 发生故障。很显然 SparkContext 将会丢失，所有executors连同其内存中的数据将会丢失。

了解容错之前，需要知道的数据处理的类型：

1. 最多一次。数据被处理一次或没被处理

2. 至少一次。数据被处理一次或多次

3. 仅有一次。有且仅有一次

可以看出，仅有一次是我们需要达到的目标。

Spark Streaming 数据处理的三个步骤：

1. 接收数据。

2. 处理数据。

3. 输出数据。最终结果被发送到外部系统。如FileSystem，Database等

Spark Streaming想要保证数据仅有一次被处理，以上三个步骤均需要保证仅有一次被处理。

1. 接收数据。 不同的数据来源有不同的保证。

（1）数据来源是文件系统。如果数据来源于容错的文件系统（如：HDFS），Spark Streaming 能保证此步骤中的数据仅被处理一次。

（2）数据来源基于Receiver。容错将取决于失败的类型和Receiver的类型。有以下两种Receiver
        （a）可靠的Receiver。Receiver将会在把接收到的数据保存副本后和Source确认已收到数据。如果此类Receiver发生故障，那么Source将接收不到确认信息。Receiver重启后，Source会继续发送未被确认的信息。

（b）不可靠的Receiver。不会发送确认信息

如果Worker 发生故障，对于（a）数据不会丢失。对于（b）没有副本的数据会丢失。

如果Driver 发生故障，所有之前收到的数据都会丢失，这将影响有状态的操作。

为了解决上述丢失问题，Spark1.2 开始建议使用“write ahead logs” 机制，但是也只能保证“至少处理一次”。

（3）数据来源于Kafka Direct API。可以保证“仅被处理一次”。

2. 处理数据。Spark Streaming 内部RDD保证“仅被处理一次”。

3. 输出数据。默认保证“至少处理一次”。因为它取决于最终结果的操作类型和下游的系统（是否支持事务）。

当worker 发生故障时，输出操作可能会被执行多次。想要保证“仅被处理一次”，有以下两种方式：

（1）等价更新。如：输出操作是 saveAs***Files 操作时，因为写文件会直接覆盖原来的文件。

（2）事务更新。使输出的更新操作都具有事务。

（a）使用 batch time (存在于foreachRDD中) 和 RDD 的 partition index 组成唯一标识

（b）下游系统使用（a）中唯一标识来判断此数据是否被处理过。

dstream.foreachRDD { (rdd, time) =>
  rdd.foreachPartition { partitionIterator =>
    val partitionId = TaskContext.get.partitionId()
    val uniqueId = generateUniqueId(time.milliseconds, partitionId)
    // use this uniqueId to transactionally commit the data in partitionIterator
  }
}