<Spark><Introduction to Spark>

What Is Apache Spark?

• 速度方面：Spark扩展了MapReduce模型，可以更高效地提供多种类型的计算，包括交互式查询和流处理。Spark为speed所提供的最大能力就是内存计算。
• 通用性方面：Spark被设计以支持多种工作负载，包括批应用，迭代算法，交互式查询和流。

A Unified Stack

• Spark项目包含很多紧密集成的组件

Spark Core

• 包含Spark的基础功能，包括任务调度、内存管理、容错、与存储系统交互等组件
• 定义了Spark的主要编程抽象--RDD

Spark SQL

• Spark‘s package for working with structured data --> 用于处理结构化数据
• 允许通过SQL、HQL查询数据，支出多种数据源：Hive tables、Parquet以及JSON
• Spark SQL通过RDD操作可以允许开发者将SQL查询与可编程的数据操作混合

Spark Streaming

• enables processing of live streams of data
• 数据流的例子有：web server产生的logfiles、web service产生的查询信息等

MLib

• a library containing common machine learning functionality
• 提供了多种机器学习算法，包括分类、回归、聚类、协同过滤以及模型验证和数据导入等等

GraphX

• a library for manipulating graphs and performing graph-parallel computations
• 其API提供了创建带有任意属性的有向图的功能，以及对图的多种操作

Cluster Managers

• Spark被设计为可以高效地扩展到上千台计算节点
• 为了实现这种可扩展性并且最大化灵活性，Spark可以允许在很多种cluster managers之上，包括Hadoop YARN， Apache Mesos以及Spark内包含的Standalone Scheduler