Spark的优点

Spark的一站式解决方案，非常之具有吸引力，毕竟啊，任何公司都想用统一的平台去处理遇到的问题，减少开发和维护的人力成本和部署平台的物力成本。

当然，Spark并没有以牺牲性能为代价。相反，在性能方面，Spark具有很大的优势。

　　Spark凭借以下的优点在众多的大数据分析处理平台中脱引而出。

　　1、速度快。与Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上；而基于硬盘的运算也要快10倍以上。Spark实现了高效的DAG执行引擎，可以通过基于内存来高效处理数据流。

　2、易用。Spark支持Java、Python和Scala的API，还支持超过80种高级算法，使得用户可以快速构建不同的应用。而且Spark支持交互式的Python和Scala的shell，这意味着可以非常方便地在这些shell中使用Spark集群来验证解决问题的方法，而不是像以前一样，需要打包、上传集群、验证等。这对于原型开发非常需要。

3、通用性。Spark提供了统一的解决方案，Spark可以用于批处理、交互式查询（通过Spark SQL）、实时流处理（通过Spark Streaming）、机器学习（通过Spark MLlib）和图计算（通过Spark GraphX）。这些不同类型的处理都可以在同一个应用中无缝使用。

4、可融合性。Spark可以非常方便地与其他的开源产品进行融合。比如，Spark可以使用Hadoop的YARN和Apache Mesos作为它的资源管理和调度器，并且可以处理所有Hadoop支持的数据，包括HDFS，HBase和Cassandra等。这对于已经部署Hadoop集群的用户特别重要，因为不需要做任何数据迁移就可以使用Spark强大的处理能力。Spark也可以不依赖于第三方的资源管理器和调度器，它实现了Standalone作为其内置的资源管理和调度框架，这样进一步降低了Spark的使用门槛。使所有人都可以非常容易地部署和使用Spark。此外，Spark还提供了在EC2上部署Standalone的Spark集群的工具。

5、打造全栈多计算范式的高效数据流水线

　　支持复杂查询与数据分析任务。在简单的“Map”及“Reduce”操作之外， Spark还支持 SQL 查询、流式计算、机器学习和图算法。同时，用户可以在同一个工作流中
无缝搭配这些计算范式。

6、轻量级快速处理

　　Spark 代码量较小，这得益于 Scala 语言的简洁和丰富表达力，以及 Spark 通过External DataSource API 充分利用和集成 Hadoop 等其他第三方组件的能力。同时 Spark基于内存计算，可通过中间结果缓存在内存来减少磁盘 I/O 以达到性能的提升。
    7、易于使用，支持多语言
     Spark 支持通过 Scala、 Java 和 Python 编写程序，这允许开发者在自己熟悉的语言环境下进行工作。它自带了 80 多个算子，同时允许在 Shell 中进行交互式计算。用户可
以利用 Spark 像书写单机程序一样书写分布式程序，轻松利用 Spark 搭建大数据内存计算平台并充分利用内存计算，实现海量数据的实时处理。
    8、与 External Data Source 多数据源支持
      Spark 可以独立运行，除了可以运行在当下的 Yarn 集群管理之外，它还可以读取已有的任何 Hadoop 数据。它可以运行多种数据源，比如 Parquet、 Hive、 HBase、 HDFS 等。这个特性让用户可以轻易迁移已有的持久化层数据。
    9、社区活跃度高
     Spark 起源于 2009 年，当下已有超过 600 多位工程师贡献过代码。开源系统的发展不应只看一时之快，更重要的是一个活跃的社区和强大的生态系统的支持。