Spark技术的总结 以及同storm，Flink技术的对比

spark总结

1.Spark的特点：

• 高可伸缩性
• 高容错
• 基于内存计算
• 支持多种语言：java，scala，python，R
• 高质量的算法，比MapReduce快100倍
• 多种调度引擎：可以运行于YARN，Mesos，standalone 等。

2.spark的提供的功能 以及应用场景

**spark功能模块 **	应用场景
RDD	离线数据处理
Spark SQL, DataFrames and Datasets	结构化的关系数据运算
Structured Streaming	结构化流：统一批处理与流处理计算的工具
Spark Streaming	流数据实时计算
Machine Learning (MLlib)	机器学习
GraphX	图数据计算
SparkR	R on Spark

3.spark重大版本更新

spark2.3.0的重大更新：

1、支持第四种调度引擎 Kubernetes clusters。
2、Structured Streaming 引入了低延迟的连续处理（continuous processing）；

spark2.0.0的重大更新：

1、SparkSession：这是一个新入口，取代了原本的SQLContext与HiveContext
2、基于DataFrame的机器学习API将作为主ML API出现；基于RDD的API进入维护模式。
3、spark 自己的标准SQL（Ansi-sql sql-2003标准）解析引擎，同时兼容hive-SQL.
4、数据框（DataFrame）/Dataset （数据集）API的统一。

spark1.6.X的重大更新：

1. 新增Dataset API
2. 使用堆外内存执行SQL，避免GC造成的瓶颈
3. 支持对非标准JSON文件的读操作
4. 支持基于文件的SQL查询。

4. spark-streaming，storm，Flink对比

• 技术特性上的对比：

**对比项 **	** spark-streaming**	** storm**	flink
流模式	微批处理	行处理 / 或者微批处理	行处理/或者微批处理
可靠性	Exactly-Once	At-Least-Once	Exactly-Once
延迟	秒级	毫秒级	毫秒级
吞吐量	比较高	非常高	非常高
容错机制	Recourd ACKs机制	基于RDD的 CheckPoint	CheckPoint
是否有状态	是	否	是
支持SQL	支持	不支持	支持
与Hadoop兼容性	支持HDFS、HBase等数据源	不支持	支持HDFS、HBase等数据源

storm 的任务编程组件是： Topology任务，由spout，bolt组成的DAG 拓扑结构。

spark-streaming任务变成组件：DStream 数据流的个各种处理方法。

spark-streaming 和 Flink 是将Flink Job 转换成 JobGraph -> ExecutionGraph.

• 平台架构上的对比：

对比项	spark-streaming	storm	flink
系统角色	driver，executor	Numbius，supervisor，worker	Client,JobManager，Taskmanager
应用名称	application	Topology	application
组件接口	DataStream	DStream	spout，bolt
部署方式	YARN，standalone	numbius-supervisor	YARN， standalone

结论：

1. 由于spark 和Flink都可以基于YARN的方式部署，共用了hadoop生态的HDFS，YARN组件，降低了基础平台的运维工作量。同时Flink的毫秒级延迟实时计算能力和spark秒级延迟实时计算能力是一种相互补充。Flink和spark形成互补且竞争关系。
2. Flink 在 Mlib，SQL 支持方面都有支持，功能方面和spark竞争关系，都是朝着生态方向发展。不过都可以基于相同的底层平台，大家切换和相互替换的成本都不高。
3. 虽然storm的也可以基于yarn部署，但这不是其主流使用场景，所以在大数据基础平台方案中Flink可以最终替换的storm平台。