第五章 大数据平台与技术 第12讲 大数据处理平台Spark

Spark支持多种的编程语言

对比scala和Java编程上节课的计数程序。相比之下，scala简洁明了。

Hadoop的IO开销大导致了延迟高，也就是说任务和任务之间涉及到I/O操作。前一个任务完成之前没有写入硬盘，下一个任务无法从硬盘当中获取数据，从而导致了这个高延迟。

Spark与Hadoop的对比：Spark也是MapReduce，但是它的编程模式比Hadoop的MapReduce更灵活，而且会支持多种数据集的操作。其次呢，它不是从磁盘中读取数据，它是从内存中读取数据。我把结果中间结果写到内存，下一步的操作从内存当中读数据，将远远快于从磁盘，这对于迭代运算的效率非常高。谷歌的排序算法PageRank，它就是一种典型的迭代运算。同时Spark是一种基于DAG的任务调度，它比Hadoop的迭代机制执行的效率更高。

Hadoop与Spark的执行流程对比：

从硬盘读数据每秒钟只有30MB-35MB。所以这样就大大限制了运算的速度。内存的存取速度是远远大于磁盘的，所以它的计算速度显然快于Hadoop平台。

机器学习中一个最典型的应用：逻辑回归。Hadoop执行迭代运算非常耗资源，而Spark将数据载入内存之后的迭代运算可以直接使用内存当中的中间结果做运算，避免了频繁从磁盘当中读取数据。

Spark消耗的资源比Hadoop小很多。

大数据处理要解决的三个类型的运算：大批的数据运算，成批成批的处理。二、基于历史数据的交互式查询。三、基于实时数据流的处理。批量数据可以在数十分钟和数小时之内完成计算。交互式的查询，用户没有那么多耐心去等待，需要在数十秒或者是几分钟之内告诉结果。实时数据流的处理对实时的要求更高，需要在百毫秒或者是数秒之间。以前要部署不同的平台解决数据对实时处理速度要求不同的问题。MapReduce平台解决批量数据处理问题，Impala平台解决历史数据的交互式查询问题，Storm平台解决实时数据流的问题。当一个应用面临三种不同的数据处理的时候，需要进行不同平台的整合，这样带来了较高的成本，而且资源的调度和分配比较困难。

Spark的生态系统：

批处理基于内存的计算、交互式查询SQL的查询、流数据处理 流数据的计算

Spark成为伯克利数据分析栈的重要组成部分。

Spark生态系统应用场景：

Hadoop和Spark统一部署(Hadoop有些功能还无法用Spark代替)

云计算：用户不需要部署自己的平台，只需要使用付费

云计算本身也是大数据的一种业务模式