Apache Spark Streaming的简介

　　Spark Streaming通过将流数据按指定时间片累积为RDD，然后将每个RDD进行批处理，进而实现大规模的流数据处理。其吞吐量能够超越现有主流流处理框架Storm，并提供丰富的API用于流数据计算。

　　Spark Streaming 是一个批处理的流式计算框架。它的核心执行引擎是 Spark，适合处理实时数据与历史数据混合处理的场景，并保证容错性。
　　Spark Streaming 是构建在 Spark 上的实时计算框架，扩展了 Spark 流式大数据处理能力。 Spark Streaming 将数据流以时间片为单位进行分割形成 RDD，使用 RDD 操作处理每一块数据，每块数据（也就是 RDD）都会生成一个 Spark Job 进行处理，最终以批处理的方式处理每个时间片的数据。请参照下图1。
　　

　　　　　　　　　　　　　　图 1   Spark Streaming 生成 Job

　　Spark Streaming 编程接口和 Spark 很相似。在 Spark 中，通过在 RDD 上用 Transformation（例如： map, f ilter 等）和 Action（例如： count, collect 等）算子进行运算。在 Spark Streaming中通过在 DStream（表示数据流的 RDD 序列）上进行算子运算。图 2 为 Spark Streaming 转化过程。
　　

　　　　　　　　　　　　　　　　　　　　　　图2  Spark Streaming 转化过程

　　注：DStream是实时计算模型。

　　图 2 中 Spark Streaming 将程序中对 DStream 的操作转换为 DStream DAG。对每个时间片， DStream DAG 会产生一个 RDD DAG。在 RDD 中通过 Action
算 子 触 发 一 个 Job， 然 后 Spark Streaming 会 将 Job 提 交 给 JobManager。 JobManager会将 Job 插入维护的 Job 队列，然后 JobManager 会将队列中的 Job 逐个提交给 Spark
DAGScheduler，然后 Spark 会调度 Job 并将 Task 分发到各节点的 Executor 上执行。