spark on centos6.5 安装

第一步在centos 6.5上安装java 运行环境

http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

第二步安装hadoop，去

http://hadoop.apache.org/上下一个

http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.5.0/hadoop-2.5.0.tar.gz

解压缩即可

第三步要装scala，去

http://www.scala-lang.org/download/上下一个

http://downloads.typesafe.com/scala/2.11.2/scala-2.11.2.rpm?_ga=1.193880237.1644075876.1409819439

在centos上直接rpm安装即可

第四步下载spark

http://spark.apache.org/downloads.html

根据自己的hadoop版本挑选一个预编译的spark，如（http://www.apache.org/dyn/closer.cgi/spark/spark-1.0.2/spark-1.0.2-bin-hadoop2.tgz），下完解压缩即可

或者下源码包自己编译（http://d3kbcqa49mib13.cloudfront.net/spark-1.0.2.tgz），自己编译maven可能被墙。

如果第四步选的是源码包，那还有第五步编译

即解压缩spark源码包以后，进入源代码目录执行sbt/sbt assembly，自己就会下载相应文件进行编译。

最后一步执行spark目录下的bin/spark-shell

在此之前记得打开hadoop的服务，不然在执行spark-shell的时候会报错

spark java.net.UnknownHostException: spark: spark: Name or service not known