Spark1.0.0 分布式环境搭建

软件版本号例如以下：

Hostname	IP	Hadoop版本号	Hadoop	功能	系统
master	192.168.119.128	1.1.2	namenode	jdk1.6+hadoop+scala2.9.3+spark1.0.0	centos4.9
slave1	192.168.119.129	1.1.2	datanode	jdk1.6+hadoop+scala2.9.3+spark1.0.0	centos4.9
slave2	192.168.119.130	1.1.2	datanode	jdk1.6+hadoop+scala2.9.3+spark1.0.0	centos4.9

1 首先搭建hadoop环境，这里不具体说，网上非常多。

2 然后安装scala环境，非常easy和配置jdk类似

2.1  下载scala 安装包 2.9.3

http://www.scala-lang.org/download/2.9.3.html#Software_Requirements

2.2 下载的 scala-2.9.3.tgz ftp 到master机

文件夹为  /home/bigdata/

2.3  进入文件夹  /home/bigdata/

tar -zxf scala-2.9.3.tgz

mv  scala-2.9.3  scala

/home/bigdata/scala   (配置文件夹)

2.4 配置环境变量（分别到3台机器配置）

vi  /etc/profile

export SCALA_HOME=/home/bigdata/scala

export PATH=$PATH:$SCALA_HOME/bin

source /etc/profile

2.5 检測是否配置成功

scala -version

Scala code runner version 2.9.3 -- Copyright 2002-2011, LAMP/EPFL

表示成功安装

2.6  远程拷贝到其他机：（结构文件夹和master一致）

scp -r  /home/bigdata/scala  root@192.168.119.129:/home/bigdata/

scp -r  /home/bigdata/scala  root@192.168.119.130:/home/bigdata/

3 配置spark

3. 1 下载spark 1.0.0   http://spark.apache.org/downloads.html

3.2  复制包到 spark-1.0.0-bin-hadoop1.tgz 中

文件夹为：/home/bigdata/

3.3  进入文件夹 /home/bigdata/

tar -zxf spark-1.0.0-bin-hadoop1.tgz

mv  spark-1.0.0-bin-hadoop1  spark-hadoop1

得到  /home/bigdata/spark-hadoop1 (配置路径)

3.4   配置用户环境变量 （分别配置3台机器）

vi  ~/.bash_profile

export SPARK_HOME=/home/bigdata/spark-hadoop1

export PATH=$PATH:$SPARK_HOME/bin

source ~/.bash_profile

3.5 在conf 中设置scala

cd  /home/bigdata/spark-hadoop1/conf

cp spark-env.sh.template spark-env.sh

vi  spark-env.sh

加入

export JAVA_HOME=/home/bigdata/jdk（Jdk安装路径）

export SCALA_HOME=/home/bigdata/scala(scala 安装路径)

3.6 拷贝到其他机器

scp -r /home/bigdata/spark-hadoop1 root@slave1:/home/bigdata/

scp -r /home/bigdata/spark-hadoop1 root@slave2:/home/bigdata/

4 启动hadoop集群

5 启动spark 集群

在master 机进入文件夹 /home/bigdata/spark-hadoop1/sbin

sh start-all.sh

jps

5704 DataNode

6021 TaskTracker

5587 NameNode

5898 JobTracker

5810 SecondaryNameNode

6374 Worker

6457 Jps

6239 Master

6 启动web訪问页面  http://master:8080/

进入 /home/bigdatat//spark-hadoop1/bin/     spark-shell

參考：点击打开链接