spark 源码编译 standalone 模式部署

本文介绍如何编译 spark 的源码，并且用 standalone 的方式在单机上部署 spark。

步骤如下：

1. 下载 spark 并且解压

本文选择 spark 的最新版本 2.2.0 （2017/07/01 发布）
下载源码和解压的命令如下：

SPARK_VERSION=2.2.
wget https://github.com/apache/spark/archive/v${SPARK_VERSION}.tar.gz -O spark-${SPARK_VERSION}.tar.gz
tar -zvxf spark-${SPARK_VERSION}.tar.gz

2. 编译

编译大概需要半个小时左右时间，不同的机器可能用的时间不同。
执行以下命令编译

cd spark-${SPARK_VERSION}
build/mvn -DskipTests clean package

可参考 http://spark.apache.org/docs/latest/building-spark.html

3. 配置

如果都使用默认，可以略过这一步。如果要改配置，按照下面步骤。

首先用下面的命令创建配置文件：

cp conf/spark-defaults.conf.template conf/spark-defaults.conf
cp conf/spark-env.sh.template conf/spark-env.sh
cp conf/slaves.template conf/slaves

然后，修改 conf/spark-defaults.conf，主要有以下配置

spark.master                     spark://master:7077
spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://namenode:8021/directory
spark.serializer                 org.apache.spark.serializer.KryoSerializer
spark.driver.memory              5g
spark.executor.extraJavaOptions  -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"

然后，修改 conf/spark-env.sh，主要修改的有以下配置

HADOOP_CONF_DIR=/home/work/hadoop-2.6.-cdh5.7.0/

SPARK_WORKER_CORES=
SPARK_WORKER_MEMORY=40g
SPARK_MASTER_HOST=192.168.1.112
SPARK_LOCAL_IP=192.168.1.112

然后，修改 conf/slaves， 添加 slave 的 hostname 或者 IP，如果只有一个 slave，conf/slaves 内容如下：

192.168.1.112

如果有多个 slave，每个 slave 占一行，如下：

192.168.1.112
192.168.1.113

3. standalone 模式部署

使用下面的命令部署 spark：

./sbin/start-all.sh

或者用下面的命令分步骤执行，效果是一样的：

./sbin/start-master.sh
./sbin/start-slave.sh spark://localhost:7077

执行上面的命令之后，spark 服务就在单机上起来了。可以用命令 ps aux | grep spark 查看，会有两个 spark 的进程。

4. 测试

用下面的命令可以提交一个任务给 spark 执行，测试部署是否成功。

./bin/spark-submit \
--master spark://localhost:7077 \
examples/src/main/python/pi.py

如果没有出现错误信息，表示部署和执行任务成功。这个例子是让 spark 计算圆周率，结果是打印出来。

5. 查看监控和统计信息

http://<hostname>:8080/

6. 关闭服务

下面的命令可以关闭 spark 服务

./sbin/stop-all.sh

7. 查看log

logs 在目录 ./logs/ 下

8. 注意事项

1. 如果机器有多个网口绑定多个 IP，配置文件的 IP 和 启动 spark 服务 IP，以及 spark-submit 中的 IP 必须保持一致。localhost 在有些机器要配置好。