linux安装spark

1、首先在官网下载http://spark.apache.org/downloads.html，

选择与hadoop对应的版本，对应关系为：spark1.6.2--scala2.10；spark2.0.0--scala2.11

 

http://mirrors.hust.edu.cn/apache/spark/spark-2.2.2/spark-2.2.2-bin-hadoop2.7.tgz

在终端中输入wget http://d3kbcqa49mib13.cloudfront.net/spark-1.6.2-bin-hadoop2.6.tgz（此处粘贴刚才复制的链接进行下载），或直接下载都可

2、解压下载的spark

输入tar -zxvf spark-1.6.2-bin-hadoop2.6.tgz进行解压

 

3、cd conf/

将log4j文件复制出来一份 cp log4j.properties.template log4j.properties

进入文件并将rootCategory 的INFO级别改成WARN

log4j.properties

spark-env.sh 复制一份并在最后添加

export JAVA_HOME=/opt/jdk/jdk1.8.0_161

export SCALA_HOME=/opt/Servers/scala-2.11.8

export SPARK_MASTER_IP=localhost

export SPARK_WORKER_MEMORY=4G

4、配置环境变量~/.bashrc

#Spark

export SPARK_HOME=/opt/Servers/spark-2.3.2-bin-hadoop2.7

export PATH=$PATH:${SPARK_HOME}/bin

5、修改host

192.168.35.152 localhost

 

6、启动

$SPARK_HOME/sbin/start-all.sh

停止

$SPARK_HOME/sbin/stop-all.sh

测试Spark是否安装成功：

 

$SPARK_HOME/bin/run-example SparkPi

得到结果：

 

Pi is roughly 3.14716

检查WebUI，浏览器打开端口： http://localhost :8080 需要本地别占用8080端口

 

在spark上执行task

spark-submit --master spark://10.10.5.246:7077 --name WordCountByscala --class luozt_scala.spark.wordcount --executor-memory 1G --total-executor-cores 2 /home/luozt/spark/spark0824.jar /home/luozt/spark/README.md

 

 

 

修改spark ui的运行端口

进入spark的bin目录

修改start-master.sh

SPARK_MASTER_WEBUI_PORT=9090