集群搭建之Spark配置要点解析

注意点：

• 安装Spark前先要配置好Scala运行环境。
• Spark和Scala需要在各个机器上配置。

环境变量配置

• 在~/.bashrc中添加如下的配置信息。

#scala conf
export SCALA_HOME=/usr/local/src/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin

#spark conf
export SPARK_HOME=/usr/local/src/spark
export PATH=$PATH:$SPARK_HOME/bin

source ~/.bashrc

./conf 目录下的文件配置

• 在spark-env.sh 中添加配置信息。

export JAVA_HOME=/usr/local/src/jdk1.8.0_151
export SCALA_HOME=/usr/local/src/scala-2.11.8
export HADOOP_HOME=/usr/local/src/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_MASTER_IP=yarn00
SPARK_LOCAL_DIRS=/usr/local/src/spark
SPARK_DRIVER_MEMORY=1G

• 在slave中添加从节点名称。

yarn01
yarn02

• 将spark包分发到其它子节点，并配置好环境变量。

./sbin目录下启动spark