[Spark] - Spark部署安装

环境：centos6.0 虚拟机 搭建单机版本的spark 前提条件：搭建好hadoop环境

---

1. 下载scala进行安装

　　只需要设置环境变量SCALA_HOME和PATH即可

　　export SCALA_HOME=/home/hadoop/bigdater/scala

　　export PATH=$PATH:$SCALA_HOME/bin

2. 修改hadoop的core-site.xml文件，添加用户代理控制

　　hadoop.proxyuser.sparkuser.hosts=*

　　hadoop.proxyuser.sparkuser.groups=*

　　spearuser指的是安装spark的用户名

3. 下载spark安装文件

　　wget http://archive.cloudera.com/cdh5/cdh/5/spark-1.2.0-cdh5.3.6-src.tar.gz

4. 解压压缩文件，编辑conf/spark-env.sh文件

　　export SCALA_HOME=/home/hadoop/bigdater/scala

　　export SPARK_WORKER_MEMORY=1g

　　export SPARK_MASTER_IP=hh

　　export MASTER=spark://hh:7077

5. 配置slaves文件,加入worker节点的hostname

　　hh

6. 启动

　　start-all.sh # 启动hadoop

　　$SPARK_HOME/sbin/start-all.sj # 启动spark