Spark技术生态

Spark的技术生态

Spark的技术生态包含了各种丰富的组件，而不同的组件提供了不同功能，以适应不同场景。

Spark core

spark core包含Spark的基本功能，定义了RDD的API以及以此为基础的其他动作。Spark的其他库都构建在RDD和Spark Core之上。

Spark SQL

提供通过HiveQL与Spark进行交互的API。每个数据库表被当做一个RDD，Spark SQL的查询会被转换为Spark操作。

Spark streaming

对实时数据流进行处理和控制。Spark Streaming允许程序能够像普通RDD一样处理实时数据。严格来说Spark streaming并不是实时的，而是准实时（跟Storm相比）。

MLlib

一个基于RDD的机器学习算法库，包含了可扩展的机器学习算法。

GraphX

控制图、并行图操作和计算的一组算法和工具的集合。

原文链接：https://blog.csdn.net/sword_csdn/article/details/103101878