在linux上安装spark详细步骤

在linux上安装spark ，前提要部署了hadoop，并且安装了scala.

提君博客原创

对应版本

>>提君博客原创  http://www.cnblogs.com/tijun/  <<

名称	版本
JDK	1.8.0
hadoop	2.6.0
scala	2.11.0
spark	2.2.0

第一步,下载  https://spark.apache.org/downloads.html

第二步，解压

tar -zxvf spark-2.2.-bin-hadoop2..tgz

第三步，配置环境变量

vi /etc/profile
#SPARK_HOME
export SPARK_HOME=/home/hadoop/spark-2.2.-bin-hadoop2.
export PATH=$SPARK_HOME/bin:$PATH

第四步，spark配置，

>>提君博客原创  http://www.cnblogs.com/tijun/  <<

spark-env.sh

JAVA_HOME=/home/hadoop/jdk1..0_144
SCALA_HOME=/home/hadoop/scala-2.11.
HADOOP_HOME=/home/hadoop/hadoop260
HADOOP_CONF_DIR=/home/hadoop/hadoop260/etc/hadoop
SPARK_MASTER_IP=ltt1.bg.cn
SPARK_MASTER_PORT=
SPARK_MASTER_WEBUI_PORT=
SPARK_WORKER_CORES=
SPARK_WORKER_MEMORY=2g   #spark里许多用到内存的地方默认1g 2g 这里最好设置大与1g
SPARK_WORKER_PORT=
SPARK_WORKER_WEBUI_PORT=
SPARK_WORKER_INSTANCES=

spark-defaults.conf

spark.master    spark://ltt1.bg.cn:7077

slaves

ltt3.bg.cn
ltt4.bg.cn
ltt5.bg.cn

-----------------------------

如果整合hive,hive用到mysql数据库的话，需要将mysql数据库连接驱动jmysql-connector-java-5.1.7-bin.jar放到$SPARK_HOME/jars目录下

------------------------------

第五步，将spark-2.2.0-bin-hadoop2.6 分发到各节点。启动

提君博客原创

[hadoop@ltt1 sbin]$ ./start-all.sh
starting org.apache.spark.deploy.master.Master, logging to /home/hadoop/spark-2.2.-bin-hadoop2./logs/spark-hadoop-org.apache.spark.deploy.master.Master--ltt1.bg.cn.out
ltt5.bg.cn: starting org.apache.spark.deploy.worker.Worker, logging to /home/hadoop/spark-2.2.-bin-hadoop2./logs/spark-hadoop-org.apache.spark.deploy.worker.Worker--ltt5.bg.cn.out
ltt4.bg.cn: starting org.apache.spark.deploy.worker.Worker, logging to /home/hadoop/spark-2.2.-bin-hadoop2./logs/spark-hadoop-org.apache.spark.deploy.worker.Worker--ltt4.bg.cn.out
ltt3.bg.cn: starting org.apache.spark.deploy.worker.Worker, logging to /home/hadoop/spark-2.2.-bin-hadoop2./logs/spark-hadoop-org.apache.spark.deploy.worker.Worker--ltt3.bg.cn.out

最后查看进程

master节点

[hadoop@ltt1 sbin]$ jps
 NameNode
 JournalNode
 ResourceManager
 QuorumPeerMain
 DFSZKFailoverController
 Master
 Jps

worker节点

[hadoop@ltt5 ~]$ jps
 NodeManager
 Worker
 Jps
 DataNode

提君博客原创

进入Spark的Web管理页面： http://ltt1.bg.cn:8080

spark安装完成。

>>提君博客原创  http://www.cnblogs.com/tijun/  <<