在CentOS 7环境下安装 Spark

1、下载Spark安装包：http://mirror.bit.edu.cn/apache/spark/

2、解压Spark的安装包并更改名称：

（1）tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz

（2）mv spark-2.4.3-bin-hadoop2.7.tgz spark

3、下载Scala安装包：https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz（请使用迅雷下载）

4、解压Scala：tar -zxvf scala-2.11.8.tgz

5、修改Scala文件名：mv scala-2.11.8 scala

7、配置环境变量：vim /etc/profile  (三个节点都要)

export JAVA_HOME=/home/bigdata/jdk
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib/rt.jar:$JRE_HOME/lib
export HADOOP_HOME=/home/bigdata/hadoop
export HIVE_HOME=/home/bigdata/hive
export HIVE_CONF_DIR=$HIVE_HOME/conf
export SCALA_HOME=/home/bigdata/scala
export SPARK_HOME=/home/bigdata/spark
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME:$HIVE_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$PATH

8、生效配置文件：source /etc/profile

9、进入spark的conf目录 ，将spark-env.sh.template复制为.sh文件：

cp spark-env.sh.template spark-env.sh

10、输入 vi spark-env.sh 修改配置文件

JAVA_HOME=/home/bigdata/jdk
SCALA_HOME=/home/bigdata/scala
HADOOP_HOME=/home/bigdata/hadoop
HIVE_CONF_DIR=$HIVE_HOME/conf
SPARK_MASTER_IP=master
SPARK_WORKER_MEMORY=512M
export JAVA_HOME SCALA_HOME HADOOP_HOME HADOOP_CONF_DIR SPARK_MASTER_IP SPARK_WORKER_MEMORY

11、复制并重命名slaves.template文件： cp slaves.template slaves

12、修改slaves文件: vi slaves

13、将localhost注释掉，加入namenode、datanode1和datanode2，保存并退出

14、将Spark文件发送到子节点：

（1）scp -r /home/bigdata/spark/ datanode1:/home/bigdata/spark

（2）scp -r /home/bigdata/spark/ datanode2:/home/bigdata/spark

15、在master机器上，进入spark的sbin目录，输入 ./start-all.sh 启动spark集群

16、此时可以通过浏览器访问master主机的8080端口，查看spark的运行情况，可以看到Workers中有两个节点

Z-Blog：http://www.361wx.com