为什么要使用Spark？

现有的hadoop生态系统中存在的问题

1）使用mapreduce进行批量离线分析；

2）使用hive进行历史数据的分析；

3）使用hbase进行实时数据的查询；

4）使用storm进行实时的流处理；

5）。。。。。。

导致：维护成本高、学习成本高

Spark的出现弥补了Hadoop生态系统中的缺陷，使用spark搞定”一切“

 

选用spark的原因

1、One stack to rule them all

    

　　1） 应用于流式计算的Spark Streaming

　　2） 应用于即席查询（Ad-hoc）的Spark SQL

　　3） 应用于机器学习（数据挖掘）的MLlib

　　4）应用于图处理的GraphX

　　5）将R扩展成并行计算的SparkR

　　6）还有权衡精度和速度的查询引擎BlinkDB

 

2、速度快（运行/开发）

　　运行速度快的原因：

　　1）基于内存计算（从表象来看）

 　  2）DAG（从深层次来看）：把执行过程做成一张图，再来优化

     开发速度快：scala代码更优雅（但是还得学习scala啦。。。。。。）

 

 

Spark和MapReduce对比

1）调度：启动map和reduce任务需要时间

2）数据共享：从HDFS上读取数据执行，每次迭代均要重写将结果写回到HDFS上，后续的迭代如果需要前面运行的结果数据时需要再去HDFS上读取，以此类推，如果迭代N次。。。

3）输出结果数据多副本：数据需要额外的复制、序列化、磁盘/IO的开销

 Spark和MapReduce的区别：迭代时数据写入内存，而不是HDFS上，进而减少大量的磁盘IO开销。