spark1.1.0部署standalone分布式集群

配置三个节点的spark集群，集群模式为standalone模式，其中sp1节点作为主节点，sp2节点和sp3节点为从节点。***注意所有操作均为root用户。

创建3个CentOS虚拟机，如下：

sp1 192.168.1.21 //master节点

sp2 192.168.1.22 //slave节点

sp3 192.168.1.23 //slave节点

配置/etc/sysconfig/network环境变量，如下：

在sp1节点上执行：vi /etc/sysconfig/network将HOSTNAME=localhost改成HOSTNAME=sp1

在sp2节点上执行：vi /etc/sysconfig/network将HOSTNAME=localhost改成HOSTNAME=sp2

在sp3节点上执行：vi /etc/sysconfig/network将HOSTNAME=localhost改成HOSTNAME=sp3

配置/etc/hosts主机名和IP地址映射关系，如下：

每个节点配置为：

192.168.1.21    sp1

192.168.1.22    sp2

192.168.1.23    sp3

关闭防火墙如下：

停止运行防火墙：service iptables stop

关闭防火墙自启动：chkconfig iptables off

验证防火墙是否关闭：chkconfig --list | grep iptables

生成ssh免密码登陆如下：

分别在每个节点上生成公钥私钥：

ssh-keygen -t rsa三次回车

cp id_rsa.put authorized_keys

将sp2节点和sp3节点的authorized_keys的内容复制到sp1节点上：

sp2节点上执行：ssh-copy-id -i sp1

sp3节点上执行：ssh-copy-id -i sp1

将sp1节点的authorized_keys(这个authorized_keys的内容是三个节点的公钥)的复制到sp2节点和sp3节点上：

sp1节点上执行：scp /root/.ssh/authorized_keys sp2:/root/.ssh/

sp1节点上执行：scp /root/.ssh/authorized_keys sp3:/root/.ssh/

配置ssh免密码登陆成功，验证如下：

sp1节点上执行：ssh sp2和ssh sp3

sp2节点上执行：ssh sp1和ssh sp3

sp3节点上执行：ssh sp2和ssh sp1

从网上下载jdk-6u45-linux-x64.bin文件，将这个文件使用WinSCP工具复制到sp1节点的/usr/local/jdk/下。

在sp1节点上安装jdk-6u45-linux-x64.bin，如下：

进入/usr/local/jdk/目录：cd /usr/local/jdk

为jdk-6u45-linux-x64.bin赋予执行权限：chmod u+x jdk-6u45-linux-x64.bin

将jdk-6u45-linux-x64.bin解压到/usr/local/jdk/文件夹下：./jdk-6u45-linux-x64.bin

将解压出来的jdk-1.6.43重命名为jdk6：mv jdk-1.6.43 jdk6

配置jdk到系统环境变量：vi /etc/profile添加内容如下：

export JAVA_HOME=/usr/local/jdk/jdk6

export PATH=.:$JAVA_HOME/bin:$PATH

使修改立即生效：source /etc/profile

验证jdk安装是否成功：java -version

从网上下载scala-2.9.3.tgz，spark-1.1.0-bin-hadoop2.4.tgz两个压缩包;将这两个压缩包使用WinSCP工具复制到sp1节点的/usr/local/spark1/下。

在sp1节点上安装scala-2.9.3.tgz，如下：

进入/usr/local/spark1/目录下：cd /usr/local/spark1/

解压scala-2.9.3.tgz：tar -zxvf scala-2.9.3.tgz

重命名解压出来的scala-2.9.3为scala：mv scala-2.9.3 scala

配置scala到系统环境变量：vi /etc/profile添加内容如下：

export SCALA_HOME=/usr/local/spark1/scala

export PATH=.:$SCALA_HOME/bin:$JAVA_HOME/bin:$PATH

使修改立即生效：source /etc/profile

验证scala安装是否成功：scala 或者 scala -version

在sp1节点上安装spark-1.1.0-bin-hadoop2.4.tgz，如下：

进入/usr/local/spark1/目录下：cd /usr/local/spark1/

解压spark-1.1.0-bin-hadoop2.4.tgz：tar -zxvf spark-1.1.0-bin-hadoop2.4.tgz

重命名解压出来的spark-1.1.0-bin-hadoop2.4为spark：mv spark-1.1.0-bin-hadoop2.4 spark

配置scala到系统环境变量：vi /etc/profile添加内容如下：

export SPARK_HOME=/usr/local/spark1/spark

export PATH=.:$SPARK_HOME/bin:$SCALA_HOME/bin:$JAVA_HOME/bin:$PATH

使修改立即生效：source /etc/profile

配置spark运行依赖的/usr/local/spark1/spark/conf/spark-env.sh文件，添加内容如下：

export SCALA_HOME=/usr/local/spark1/scala

export JAVA_HOME=/usr/local/jdk/jdk6

export SPARK_MASTER_IP=sp1

export SPARK_WORKER_CORES=1

export SPARK_WORKER_MEMORY=512m

export SPARK_WORKER_PORT=8888

export SPARK_WORKER_INSTANCES=1

配置spark的从节点/usr/local/spark1/spark/conf/slaves文件，将默认的localhost修改为如下：

sp1

sp2

sp3

配置成功后，将环境变量，/usr/local/spark1和/usr/local/jdk复制到sp2和sp3节点上，如下：

复制sp1节点环境变量到sp2节点：scp /etc/profile sp2:/etc/

复制sp1节点环境变量到sp3节点：scp /etc/profile sp3:/etc/

***注意：环境变量复制成功后需要分别在sp2节点和sp3节点上执行命令使修改立即生效：source /etc/profile

复制sp1节点解压出来配置好的spark和scala到sp2节点：scp -r /usr/local/* sp2:/usr/local/

复制sp1节点解压出来配置好的spark和scala到sp3节点：scp -r /usr/local/* sp3:/usr/local/

***注意：按照上述步骤完成后即可启动spark集群。

启动spark命令：start-all.sh

[root@sp1 sbin]# start-all.sh

starting org.apache.spark.deploy.master.Master, logging to
/usr/local/spark1/spark/sbin/../logs/spark-root-org.apache.spark.deploy.master.Master-1-sp1.out

sp3: starting org.apache.spark.deploy.worker.Worker, logging to
/usr/local/spark1/spark/sbin/../logs/spark-root-org.apache.spark.deploy.worker.Worker-1-sp3.out

sp2: starting org.apache.spark.deploy.worker.Worker, logging to
/usr/local/spark1/spark/sbin/../logs/spark-root-org.apache.spark.deploy.worker.Worker-1-sp2.out

sp1: starting org.apache.spark.deploy.worker.Worker, logging to
/usr/local/spark1/spark/sbin/../logs/spark-root-org.apache.spark.deploy.worker.Worker-1-sp1.out

验证spark启动是否成功1：分别在三个节点上执行jps命令，结果如下为正确(忽略进程号)：

sp1

2305 Worker

2156 Master

2410 Jps

sp2

2057 Worker

2138 Jps

sp3

2056 Worker

2136 Jps

验证spark启动是否成功2：在浏览器中输入localhost:8080验证是否启动成功。

停止spark命令：stop-all.sh

至此spark的standalone模式集群(3个节点)部署完成。

在h2的yarn上部署spark集群