jdk安装

http://www.cnblogs.com/xiaojf/p/6568426.html

scala2.11 安装

http://www.cnblogs.com/xiaojf/p/6568432.html

hadoop2.7 安装

http://www.cnblogs.com/xiaojf/p/6629351.html

开始spark2.1.0安装

解压

[root@m1 jar]# tar zxvf spark-2.1.-bin-hadoop2..tgz -C ../

重命名

[root@m1 jar]# cd ..
[root@m1 soft]# ll
total
drwxr-xr-x. root root Mar : hadoop
drwxr-xr-x. root root Mar : jar
drwxr-xr-x. root root Dec : jdk
drwxr-xr-x. root root Mar : kafka
drwxrwxr-x. root root Mar scala-2.11.
drwxr-xr-x. xiaojf xiaojf Dec : spark-2.1.-bin-hadoop2.
drwxr-xr-x. root root Mar : tmp
drwxr-xr-x. root root Aug zookeeper-3.4.
[root@m1 soft]# mv spark-2.1.-bin-hadoop2. spark
[root@m1 soft]# ll
total
drwxr-xr-x. root root Mar : hadoop
drwxr-xr-x. root root Mar : jar
drwxr-xr-x. root root Dec : jdk
drwxr-xr-x. root root Mar : kafka
drwxrwxr-x. root root Mar scala-2.11.
drwxr-xr-x. xiaojf xiaojf Dec : spark
drwxr-xr-x. root root Mar : tmp
drwxr-xr-x. root root Aug zookeeper-3.4.

配置环境变量

[root@m1 soft]# vi /etc/profile
[root@m1 soft]# source /etc/profile
export SPARK_HOME=/usr/local/soft/spark
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

修改配置文件

[root@m1 soft]# cd /usr/local/soft/spark/conf/
[root@m1 conf]# pwd
/usr/local/soft/spark/conf
[root@m1 conf]# ll
total
-rw-r--r--. xiaojf xiaojf Dec : docker.properties.template
-rw-r--r--. xiaojf xiaojf Dec : fairscheduler.xml.template
-rw-r--r--. xiaojf xiaojf Dec : log4j.properties.template
-rw-r--r--. xiaojf xiaojf Dec : metrics.properties.template
-rw-r--r--. xiaojf xiaojf Dec : slaves.template
-rw-r--r--. xiaojf xiaojf Dec : spark-defaults.conf.template
-rwxr-xr-x. xiaojf xiaojf Dec : spark-env.sh.template
[root@m1 conf]# cp log4j.properties.template log4j.properties
[root@m1 conf]# cp slaves.template slaves
[root@m1 conf]# cp spark-defaults.conf.template spark-defaults.conf
[root@m1 conf]# cp spark-env.sh.template spark-env.sh

修改 spark-defaults.conf

[root@m1 conf]# vi spark-defaults.conf
spark.eventLog.enabled           true
spark.eventLog.dir hdfs://m1:9000/historyserverforSpark
spark.executor.extraJavaOptions -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"
spark.yarn.historyServer.address m1:
spark.history.fs.logDirectory hdfs://m1:9000/historyserverforSpark
spark.driver.memory 5g

修改 spark-env.sh

[root@m1 conf]# vi spark-env.sh
export HADOOP_HOME=/usr/local/soft/hadoop
export HADOOP_CONF_DIR=/usr/local/soft/hadoop/etc/hadoop
export JAVA_HOME=/usr/local/soft/jdk
export SCALA_HOME=/usr/local/soft/scala
export SPARK_MASTER_IP=m1
export SPARK_WORKER_MEMORY=1G
export SPARK_EXECUTOR_MEMORY=1G
export SPARK_DRIVER_MEMORY=1G
export SPARK_WORKER_CORES=

修改 slaves

[root@m1 conf]# vi slaves
s1
s2

分发代码到集群节点

[root@m1 soft]# scp -r spark root@s1:/usr/local/soft/
[root@m1 soft]# scp -r spark root@s2:/usr/local/soft/

启动

[root@m1 soft]# cd /usr/local/soft/spark/sbin/
[root@m1 sbin]# ll
total
-rwxr-xr-x. xiaojf xiaojf Dec : slaves.sh
-rwxr-xr-x. xiaojf xiaojf Dec : spark-config.sh
-rwxr-xr-x. xiaojf xiaojf Dec : spark-daemon.sh
-rwxr-xr-x. xiaojf xiaojf Dec : spark-daemons.sh
-rwxr-xr-x. xiaojf xiaojf Dec : start-all.sh
-rwxr-xr-x. xiaojf xiaojf Dec : start-history-server.sh
-rwxr-xr-x. xiaojf xiaojf Dec : start-master.sh
-rwxr-xr-x. xiaojf xiaojf Dec : start-mesos-dispatcher.sh
-rwxr-xr-x. xiaojf xiaojf Dec : start-mesos-shuffle-service.sh
-rwxr-xr-x. xiaojf xiaojf Dec : start-shuffle-service.sh
-rwxr-xr-x. xiaojf xiaojf Dec : start-slave.sh
-rwxr-xr-x. xiaojf xiaojf Dec : start-slaves.sh
-rwxr-xr-x. xiaojf xiaojf Dec : start-thriftserver.sh
-rwxr-xr-x. xiaojf xiaojf Dec : stop-all.sh
-rwxr-xr-x. xiaojf xiaojf Dec : stop-history-server.sh
-rwxr-xr-x. xiaojf xiaojf Dec : stop-master.sh
-rwxr-xr-x. xiaojf xiaojf Dec : stop-mesos-dispatcher.sh
-rwxr-xr-x. xiaojf xiaojf Dec : stop-mesos-shuffle-service.sh
-rwxr-xr-x. xiaojf xiaojf Dec : stop-shuffle-service.sh
-rwxr-xr-x. xiaojf xiaojf Dec : stop-slave.sh
-rwxr-xr-x. xiaojf xiaojf Dec : stop-slaves.sh
-rwxr-xr-x. xiaojf xiaojf Dec : stop-thriftserver.sh
[root@m1 sbin]# ./start-all.sh
starting org.apache.spark.deploy.master.Master, logging to /usr/local/soft/spark/logs/spark-root-org.apache.spark.deploy.master.Master--m1.out
s1: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/soft/spark/logs/spark-root-org.apache.spark.deploy.worker.Worker--s1.out
s2: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/soft/spark/logs/spark-root-org.apache.spark.deploy.worker.Worker--s2.out

查看进程

[root@m1 sbin]# jps
Master
Kafka
Jps
QuorumPeerMain

这个时候还没有启动hadoop,所以先启动hadoop,再启动spark

[root@m1 sbin]# /usr/local/soft/hadoop/sbin/start-all.sh
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [m1]
m1: starting namenode, logging to /usr/local/soft/hadoop/logs/hadoop-root-namenode-m1.out
s2: starting datanode, logging to /usr/local/soft/hadoop/logs/hadoop-root-datanode-s2.out
s1: starting datanode, logging to /usr/local/soft/hadoop/logs/hadoop-root-datanode-s1.out
Starting secondary namenodes [m1]
m1: starting secondarynamenode, logging to /usr/local/soft/hadoop/logs/hadoop-root-secondarynamenode-m1.out
starting yarn daemons
starting resourcemanager, logging to /usr/local/soft/hadoop/logs/yarn-root-resourcemanager-m1.out
s2: starting nodemanager, logging to /usr/local/soft/hadoop/logs/yarn-root-nodemanager-s2.out
s1: starting nodemanager, logging to /usr/local/soft/hadoop/logs/yarn-root-nodemanager-s1.out
[root@m1 sbin]# jps
ResourceManager
Kafka
SecondaryNameNode
NameNode
Jps
QuorumPeerMain
[root@m1 sbin]# /usr/local/soft/spark/sbin/start-all.sh
starting org.apache.spark.deploy.master.Master, logging to /usr/local/soft/spark/logs/spark-root-org.apache.spark.deploy.master.Master--m1.out
s2: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/soft/spark/logs/spark-root-org.apache.spark.deploy.worker.Worker--s2.out
s1: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/soft/spark/logs/spark-root-org.apache.spark.deploy.worker.Worker--s1.out
[root@m1 sbin]# jps
ResourceManager
Kafka
SecondaryNameNode
Master
NameNode
Jps
QuorumPeerMain

打开spark-shell 测试

[root@m1 sbin]# spark-shell 

完成

spark 2.1.0 集群安装的更多相关文章

  1. hadoop 2.2.0集群安装详细步骤(简单配置,无HA)

    安装环境操作系统:CentOS 6.5 i586(32位)java环境:JDK 1.7.0.51hadoop版本:社区版本2.2.0,hadoop-2.2.0.tar.gz 安装准备设置集群的host ...

  2. CentOS下Hadoop-2.2.0集群安装配置

    对于一个刚开始学习Spark的人来说,当然首先需要把环境搭建好,再跑几个例子,目前比较流行的部署是Spark On Yarn,作为新手,我觉得有必要走一遍Hadoop的集群安装配置,而不仅仅停留在本地 ...

  3. Spark On YARN 分布式集群安装

    一.导读 最近开始学习大数据分析,说到大数据分析,就必须提到Hadoop与Spark.要研究大数据分析,就必须安装这两个软件,特此记录一下安装过程.Hadoop使用V2版本,Hadoop有单机.伪分布 ...

  4. hadoop 2.2.0集群安装

    相关阅读: hbase 0.98.1集群安装 本文将基于hadoop 2.2.0解说其在linux集群上的安装方法,并对一些重要的设置项进行解释,本文原文链接:http://blog.csdn.net ...

  5. ElasticSearch 5.0.0 集群安装部署文档

    1.  搭建环境 3台物理机 操作系统 centos7 es1   192.168.31.141   4g内存   2核 es2   192.168.31.142   4g内存   2核 es3    ...

  6. CentOS下Storm 1.0.0集群安装具体解释

    本文环境例如以下: 操作系统:CentOS 6 32位 ZooKeeper版本号:3.4.8 Storm版本号:1.0.0 JDK版本号:1.8.0_77 32位 python版本号:2.6.6 集群 ...

  7. Linux基于Hadoop2.8.0集群安装配置Hive2.1.1及基础操作

    前言 安装Apache Hive前提是要先安装hadoop集群,并且hive只需要在hadoop的namenode节点集群里安装即可,安装前需保证Hadoop已启(动文中用到了hadoop的hdfs命 ...

  8. spark 2.0.0集群安装与hive on spark配置

    1. 环境准备: JDK1.8 hive 2.3.4 hadoop 2.7.3 hbase 1.3.3 scala 2.11.12 mysql5.7 2. 下载spark2.0.0 cd /home/ ...

  9. 最新版spark1.1.0集群安装配置

    和分布式文件系统和NoSQL数据库相比而言,spark集群的安装配置还算是比较简单的: 很多教程提到要安装java和scala,但我发现spark最新版本是包含scala的,JRE采用linux内嵌的 ...

随机推荐

  1. ios ALAssetsLibrary简单的使用

    关于ALAssetsLibrary的简单使用有两个方面: 第一:存储图片/视频方法如下: // With a UIImage, the API user can use -[UIImage CGIma ...

  2. Real-time 节点

    Real-time 节点 Real-time 节点提供一个实时索引.通过这些节点索引的数据提供查询.real-time节点将定期将他们收集的数据转移到同一跨域时间的Historical节点. 使用zo ...

  3. VUE进阶(路由等)

    初级教程:http://www.cnblogs.com/dmcl/p/6137469.html VUE进阶 自定义指令 http://cn.vuejs.org/v2/guide/custom-dire ...

  4. 【linux】安装samba服务

    学习linux一般是在虚拟机中进行,这样就需要你在windows与linux虚拟机中切换,Samba是很好的共享服务 下面是在汇文培训时宋老师写的配置samba的过程,很容易就能配置成功.还有一些视频 ...

  5. onmouseover事件

    根据教学视频写了个onmouseover事件: <!DOCTYPE html> <html> <head> <meta charset="UTF-8 ...

  6. Liunx的DHCP配置

    1.DHCP简介 (1)DHCP(Dynamic Host Configuration Protocol,动态主机配置协议)是一个简化主机IP地址分配管理的TCP/IP标准协议,用户可以利用DHCP服 ...

  7. C语言精要总结-内存地址对齐与struct大小判断篇

    在笔试时,经常会遇到结构体大小的问题,实际就是在考内存地址对齐.在实际开发中,如果一个结构体会在内存中高频地分配创建,那么掌握内存地址对齐规则,通过简单地自定义对齐方式,或者调整结构体成员的顺序,可以 ...

  8. 蓝桥杯-平方怪圈-java

    /* (程序头部注释开始) * 程序的版权和版本声明部分 * Copyright (c) 2016, 广州科技贸易职业学院信息工程系学生 * All rights reserved. * 文件名称: ...

  9. SQL Server 数据库连接方法

    我们用c#写ado或者是asp,都需要连接数据库来读写数据,今天我们就来总结一下数据库连接都有哪些方法. 首先我们就写最直接的方法,在事件中直接连接.(在这里就用WEB页面来展示) 首先我们建立web ...

  10. crontab定时任务不执行的原因

    1.重启crontab若是遇见"You (cloudlogin) are not allowed to use this program (crontab)                 ...