Spark简介及其在ubuntu下的安装使用

转：http://blog.csdn.net/pelick/article/details/9888311

Spark概述

Spark是一种与 Hadoop 相似的开源集群计算环境，在性能和迭代计算上很有看点，现在是Apache孵化的顶级项目吧。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发，可用来构建大型的、低延迟的数据分析应用程序。Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架，而Scala的语言特点也铸就了大部分Spark的成功。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoop文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。

虽然 Spark 与 Hadoop 有相似之处，但它提供了具有有用差异的一个新的集群计算框架。首先，Spark 是为集群计算中的特定类型的工作负载而设计，即那些在并行操作之间重用工作数据集（比如机器学习算法）的工作负载。为了优化这些类型的工作负载，Spark 引进了内存集群计算的概念，可在内存集群计算中将数据集缓存在内存中，以缩短访问延迟。

Spark 还引进了名为 弹性分布式数据集 (RDD) 的抽象。RDD 是分布在一组节点中的只读对象集合。这些集合是弹性的，如果数据集一部分丢失，则可以对它们进行重建。重建部分数据集的过程依赖于容错机制，该机制可以维护 “血统”（即充许基于数据衍生过程重建部分数据集的信息）。RDD 被表示为一个 Scala 对象，并且可以从文件中创建它；一个并行化的切片（遍布于节点之间）；另一个 RDD 的转换形式；并且最终会彻底改变现有 RDD 的持久性，比如请求缓存在内存中。

Spark 中的应用程序称为驱动程序，这些驱动程序可实现在单一节点上执行的操作或在一组节点上并行执行的操作。与 Hadoop 类似，Spark 支持单节点集群或多节点集群。对于多节点操作，Spark 依赖于 Mesos 集群管理器。Mesos 为分布式应用程序的资源共享和隔离提供了一个有效平台。该设置充许 Spark 与 Hadoop 共存于节点的一个共享池中。

Spark生态环境

是的，类似hadoop有HDFS，Hive，Pig等一套自己的生态环境，Spark也有一套生态环境，而这套蓝图应该也正是AMP实验室正在绘制的。

Spark在整个生态系统中的地位如图所示，他是基于Tachyon的。而对底层的Mesos类似与YARN调度框架，在其上也是可以搭载如Spark，Hadoop等环境。Shark类似Hadoop里的Hive，而其性能好撑比Hive要快成百上千倍，不过hadoop注重的不一定是最快的速度，而是廉价集群上离线批量的计算能力。此外，上图中还有图数据库，Spark Streaming以及machine learning的ML Base。也就是说，Spark这套生态环境把大数据这块领域的数据流计算和交互式计算都包含了，而另外一块批处理计算应该由hadoop占据，同时Spark又是可以同HDFS交互取得里面的数据文件的。还有一天，Spark的迭代，内存运算能力以及交互式计算，都为数据挖掘，机器学习提供了很必要的辅助。综上所述，Spark不容小觑，也正是笔者打算研究他的原因。

国内目前豆瓣有一位牛人，读了Spark源码后用python写了一个Dpark在豆瓣内部使用。性能方面应该不及Spark，因为Scala是模吸收了Erlang这样的天生分布式语言的一些优势，既面向对象又是函数式的，目前我也在熟悉之中。

Spark的开发者中有一位是中国的博士，这是他的微博。

Spark安装使用

我在win7下尝试了下，根本不能开启spark的shell或者run一下example，最终还是在ubuntu上实现了。在Spark的github上你可以得到源码，但是在ubuntu上使用的时候，我是从网上下载了个 spark-0.7.2-prebuilt-hadoop1.tar的包，解压之后，在$SPARK_HOME下执行

1. ./spark-shell

就可以开启交互式spark命令环境，这是一个基于scala的环境，有点类似mongodb的cmd环境是V8引擎下的js环境，应该是spark自带的而不需要外部引用SCALA_HOME。

然后你就可以根据官方document里的quick-start进行一些文件读取操作，并对内容进行处理，做mapreduce呀之类的事情。同时，也是可以去读hdfs上的file的

1. scala> val textFile = sc.textFile("README.md")

1. scala> textFile.count() // Number of items in this RDD
2. scala> textFile.first() // First item in this RDD

例子不举了。如果要跑例子，需要先下载并引用scala，然后用sbt构建下spark。sbt是scala的构建工具，相当于是java的maven。

下好的scala解压之后，是可以在SCALA_HOME/bin下执行scala进入scala命令环境的。完成构建之后（我下载的spark解压之后不需要sbt构建也可以直接run这些例子。），就可以跑例子了。

1. sbt/sbt package

构建之后。还需要先在$SPARK_HOME/conf/ 下修改那个spark-env.sh，在文件内添加一行"SCALA_HOME=xxx"。

1. ./run spark.examples.SparkPi local

在跑这个例子的时候，可能输出结果会有一个NULL什么的错误，原因在于run这个文件里写的匹配example的路径是xxx-example-xxx.jar，而在SPARK_HOME/example/target/scalaxxxx路径下的jar包是xxx-example_xxx.jar的格式，问题出在"-"和"_"上。我手动改了下jar包的名字，你也可以在run的144-146行里把那个匹配规则改一下，很简单的。

做了以上的事后，就可以慢慢试玩和探索Spark啦。当然这是本地一个standalone的部署，还可以加master和slave的集群部署。略了。

SparkPi这个例子的代码就不具体说了，下面我提供一些有帮助的文档链接，有助于spark的起步。就我今天网上google的结果看，好像也没有什么别的文档也可以参考了。基本上也就是我列举的这些，所以你看完这些应该就可以啦。

参考

同一个博客里的几篇：

Spark安装与学习

centOS上安装spark集群

淘宝博客里的几篇：

Spark随谈-翻译指南

Spark随谈-整体架构

Spark随谈-安装攻略

官网文档：

quick-start

programming-guide

IBM的一篇介绍