spark伪分布式安装

一，在官网下载对应的版本http://spark.apache.org/downloads.html

二在linux中解压下来的spark包

 

三：配置环境变量

    （1）在/etc/profile文件添加如下

export SPARK_HOME=/usr/local/development/spark-2.0-hadoop2.6
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$HIVE_HOME/bin:$PATH

    （2）在/usr/local/development/spark-2.0-hadoop2.6/conf 复制spark-env.sh

cp spark-env.sh.template spark-env.sh

      在spark-env.sh 中添加配置

export JAVA_HOME=/usr/local/development/jdk1.7.0_15
export SCALA_HOME=/usr/local/development/scala-2.10.6
export HADOOP_CONF_DIR=/usr/local/development/hadoop-2.6.4/etc/hadoop

四：在/usr/local/development/spark-2.0-hadoop2.6/sbin  执行

./start-all.sh

配置 成功

 

 

问题：

 在第一次启动sprk时，抛出异常

failed to launch org.apache.spark.deploy.master.Master: Failed to find Spark assembly in /usr

这个是因为我下载的是spark-2.0.0-bin-without-hadoop版本，应该下载与你hadoop版本对应的spark包

 

 

--------------------------------------------------------------------------

在启动spark后，在window的浏览器中输入http://192.168.177.124:8080不能够显示spark页面，但是在linux中输入localhost://8080 就可以显示。这个问题需要配置spark-env.sh

export SPARK_MASTER=node4 --配置master的主机

export SPARK_LOCAL_IP=node4---配置本地地址的IP

export SPARK_HOME=/usr/local/development/spark-2.0-hadoop2.6

export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

export SPARK_LIBARY_PATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$HADOOP_HOME/lib/native

export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin