Spark on Yarn——spark1.5.1集群配置

写在前面：

spark只是一种计算框架，如果要搭建集群要依托与一定的组织模式。

　目前来说，Spark集群的组织形式有三种：

1.      Standalone：使用akka作为网络IO组件，master和worker之间采用actor模型进行组织。简单说就是spark自己实现了集群中的各个节点上的服务。

2.      Yarn：直接使用Yarn框架完成资源分配和分布式管理功能，spark只是简单地把任务提交给yarn框架。

3.      Mesos：不太清楚。（好像比较古老了）

因此，要搭建一个spark集群，首先要选择一种组织形式，对于我来说以前用过一点Hadoop+MapReduce，因此选择比较熟悉的基于Hadoop的yarn框架，现在网上也有一些教程可供参考。

环境及软件版本型号列表：

Ubuntu 14.04 64位

JDK：jdk-7u80-linux-x64 (网址http://www.oracle.com/technetwork/java/javase/archive-139210.html)

scala：scala-2.10.4 （网址http://www.scala-lang.org/download/2.10.4.html）

Hadoop：hadoop-2.6.2（网址https://hadoop.apache.org/#Download+Hadoop）

spark: sark-1.5.1（要求hadoop2.6+）（网址http://spark.apache.org/downloads.html）（最好是下载pre-built版本的，这样就不用自己额外编译了）

配置集群的大体步骤：

修改hosts文件，使节点时间互相ping通 --》建立ssh连接 --》 为每台机器装JDK与SCALA --》 主机装Hadoop并配置好 --》 通过主机将Hadoop发送至各个从节点 --》 主机配置spark --》 通过主机将配置好的spark发送至各个从节点 --》 完成

通过以上的步骤可以看出，由于我们是把Hadoop及spark一起发送至子节点，因此要求我们的每台机器都有相同的文件路径结构（我的是在所有节点上新建了一个路径放置所有的jdk, scala, hadoop, spark文件，如：~/Downloads/spark_sdk），及相同的用户名（这里指Ubuntu系统admin@master, @前面的admin表示该机器的用户名，@后面的master表示该机器的名称）。

--------------------------------------------------------------配置步骤正式开始---------------------------------------------------------------------------------------

1. 修改每个节点的hosts文件:

sudo /etc/hosts  (每台主机操作)

114.212.80.243     master
114.212.81.244     slave1
114.212.82.117     slave2

(在不同机器上互相ping，看是否能够ping通)
ping master
ping slave1
ping slave2

2. ssh免密码登陆。

(1) 为确保ssh可以互连，不会出问题，最好先把防火墙关闭或卸载（每台机器）。

sudo apt-get remove iptables

(2) 每台机器安装ssh server.

sudo apt-get install openssh-server

(3) 每台机器生产公钥和私钥。

ssh-keygen -t rsa   (一路回车)

(4) 每个从节点上的id_rsa.pub发给master节点。

scp /home/master/.ssh/id_rsa.pub master@master:/home/master/.ssh/id_rsa.pub.slave1

scp /home/master/.ssh/id_rsa.pub master@master:/home/master/.ssh/id_rsa.pub.slave2

(5) 在master上，将所有公钥加到用于认证的公钥文件authorized_keys中.

cat ./.ssh/id_rsa.pub* >> ./.ssh/authorized_keys (可以按照上面的路径写成绝对路径的形式)

(6) 将公钥文件authorized_keys分发给每台slave.

scp /home/master/.ssh/authorized_keys master@slave1:/home/master/.ssh/

(7) 在每台机子上验证SSH无密码通信.(第一次通信时需要密码，以后则不需要)

ssh master
ssh slave1
ssh slave2

(8) 如果登陆测试不成功，则可能需要修改文件authorized_keys的权限。

chmod 600 /home/master/.ssh/authorized_keys

(现在，完成机器间的护筒之后，下面所有的jdk，scala等得安装可以通过Master用ssh来操控了。)

2. 安装JDK

我的是将JDK解压在 ~/Downloads/spark_sdk/文件夹下。

tar zxvf jdk-7u80-linux-x64.tar.gz ~/Downloads/spark_sdk/

然后配置bashrc文件。（bashrc与profile的区别：bashrc是指当前用户的环境变量的设置，profile是整个机器的环境变量的设置。对于单用户来说，我们设置bashrc即可。显然，bashrc优先级大于profile）。

vim ~/.bashrc

加入如下JDK的配置：

export JAVA_HOME=~/Downloads/spark_sdk/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

使bashrc生效：

source ~/.bashrc

测试JDK是否安装成功：

java -version

(所有机器一样,Slave机器可以通过Master操纵)

3. 安装scala

将scala解压在~/Downloads/spark_sdk/文件夹下。

tar zxvf scala-2.10.4.tgz ~/Downloads/spark_sdk/

然后配置bashrc文件。

vim ~/.bashrc

加入如下scala的配置：

export SCALA_HOME=~/Downloads/spark_sdk/scala-2.10.4
export PATH=$PATH:$SCALA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

使bashrc生效：

source ~/.bashrc

测试scala是否安装成功：

scala -version

(所有机器一样，Slave机器可以通过Master机器操控，更简单的是，把文件用scp传送到相应位置后，直接把bashrc传送过去，避免所有机器配置)

4. 配置Hadoop集群。

在主节点上配置好了，直接发送至从节点即可。

详细的配置过程见Jerk's blog http://wuchong.me/blog/2015/04/04/spark-on-yarn-cluster-deploy/

5. 配置spark。

如果Hadoop集群成功构建，则spark在Master上配置好后，发送给Slave节点即可。

写在后面：

配置环境永远是令程序员们最头疼的一件事，可是往往通过配置环境，我们才可以更加了解我们正在使用的这个工具，我们的机器，我们的架构的更底层工作方式。而不是只会使用，不知为何这样做的。

在过程中也会遇到各种各样的问题，往往一个错误就会跳出一整个屏幕的提示信息，错误等，令人眼花缭乱。所以我的感想就是：

• 要仔细阅读info提示信息；
• 慢就是快；
• 最好知道每个配置文件的信息代表的什么意思。