centos7 spark2.3.1集群搭建

1.安装jdk

2.安装scala

参照jdk的安装

3.ssh 免密码登录

4.安装hadoop

以上四步请参照   centos7 安装hadoop2.7.6（分布式）

5.安装spark 

1）官网下载对应版本

https://archive.apache.org/dist/spark/spark-2.3.1/spark-2.3.1-bin-hadoop2.7.tgz

2)解压spark-2.3.1-bin-hadoop2.7.tgz 至master 的 /usr/local

3)配置文件配置

spark-env.sh

export JAVA_HOME=/usr/local/jdk
export SCALA_HOME=/usr/local/scala-2.11.
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_WORKER_MEMORY=500m
export SPARK_WORKER_CORES=
export SPARK_MASTER_HOST=ns1
export SPARK_MASTER_PORT=

经测试，不必配置slaves 文件，spark启动时使用了hadoop 的slaves文件

6.启动

在master上执行

sh /user/local/hadoop/sbin/start-all.sh
sh /user/local/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver
sh /usr/local/spark-2.3.-bin-hadoop2./sbin/start-all.sh