spark 2.1.0 集群安装
jdk安装
http://www.cnblogs.com/xiaojf/p/6568426.html
scala2.11 安装
http://www.cnblogs.com/xiaojf/p/6568432.html
hadoop2.7 安装
http://www.cnblogs.com/xiaojf/p/6629351.html
开始spark2.1.0安装
解压
[root@m1 jar]# tar zxvf spark-2.1.-bin-hadoop2..tgz -C ../
重命名
[root@m1 jar]# cd ..
[root@m1 soft]# ll
total
drwxr-xr-x. root root Mar : hadoop
drwxr-xr-x. root root Mar : jar
drwxr-xr-x. root root Dec : jdk
drwxr-xr-x. root root Mar : kafka
drwxrwxr-x. root root Mar scala-2.11.
drwxr-xr-x. xiaojf xiaojf Dec : spark-2.1.-bin-hadoop2.
drwxr-xr-x. root root Mar : tmp
drwxr-xr-x. root root Aug zookeeper-3.4.
[root@m1 soft]# mv spark-2.1.-bin-hadoop2. spark
[root@m1 soft]# ll
total
drwxr-xr-x. root root Mar : hadoop
drwxr-xr-x. root root Mar : jar
drwxr-xr-x. root root Dec : jdk
drwxr-xr-x. root root Mar : kafka
drwxrwxr-x. root root Mar scala-2.11.
drwxr-xr-x. xiaojf xiaojf Dec : spark
drwxr-xr-x. root root Mar : tmp
drwxr-xr-x. root root Aug zookeeper-3.4.
配置环境变量
[root@m1 soft]# vi /etc/profile
[root@m1 soft]# source /etc/profile
export SPARK_HOME=/usr/local/soft/spark
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
修改配置文件
[root@m1 soft]# cd /usr/local/soft/spark/conf/
[root@m1 conf]# pwd
/usr/local/soft/spark/conf
[root@m1 conf]# ll
total
-rw-r--r--. xiaojf xiaojf Dec : docker.properties.template
-rw-r--r--. xiaojf xiaojf Dec : fairscheduler.xml.template
-rw-r--r--. xiaojf xiaojf Dec : log4j.properties.template
-rw-r--r--. xiaojf xiaojf Dec : metrics.properties.template
-rw-r--r--. xiaojf xiaojf Dec : slaves.template
-rw-r--r--. xiaojf xiaojf Dec : spark-defaults.conf.template
-rwxr-xr-x. xiaojf xiaojf Dec : spark-env.sh.template
[root@m1 conf]# cp log4j.properties.template log4j.properties
[root@m1 conf]# cp slaves.template slaves
[root@m1 conf]# cp spark-defaults.conf.template spark-defaults.conf
[root@m1 conf]# cp spark-env.sh.template spark-env.sh
修改 spark-defaults.conf
[root@m1 conf]# vi spark-defaults.conf
spark.eventLog.enabled true
spark.eventLog.dir hdfs://m1:9000/historyserverforSpark
spark.executor.extraJavaOptions -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"
spark.yarn.historyServer.address m1:
spark.history.fs.logDirectory hdfs://m1:9000/historyserverforSpark
spark.driver.memory 5g
修改 spark-env.sh
[root@m1 conf]# vi spark-env.sh
export HADOOP_HOME=/usr/local/soft/hadoop
export HADOOP_CONF_DIR=/usr/local/soft/hadoop/etc/hadoop
export JAVA_HOME=/usr/local/soft/jdk
export SCALA_HOME=/usr/local/soft/scala
export SPARK_MASTER_IP=m1
export SPARK_WORKER_MEMORY=1G
export SPARK_EXECUTOR_MEMORY=1G
export SPARK_DRIVER_MEMORY=1G
export SPARK_WORKER_CORES=
修改 slaves
[root@m1 conf]# vi slaves
s1
s2
分发代码到集群节点
[root@m1 soft]# scp -r spark root@s1:/usr/local/soft/
[root@m1 soft]# scp -r spark root@s2:/usr/local/soft/
启动
[root@m1 soft]# cd /usr/local/soft/spark/sbin/
[root@m1 sbin]# ll
total
-rwxr-xr-x. xiaojf xiaojf Dec : slaves.sh
-rwxr-xr-x. xiaojf xiaojf Dec : spark-config.sh
-rwxr-xr-x. xiaojf xiaojf Dec : spark-daemon.sh
-rwxr-xr-x. xiaojf xiaojf Dec : spark-daemons.sh
-rwxr-xr-x. xiaojf xiaojf Dec : start-all.sh
-rwxr-xr-x. xiaojf xiaojf Dec : start-history-server.sh
-rwxr-xr-x. xiaojf xiaojf Dec : start-master.sh
-rwxr-xr-x. xiaojf xiaojf Dec : start-mesos-dispatcher.sh
-rwxr-xr-x. xiaojf xiaojf Dec : start-mesos-shuffle-service.sh
-rwxr-xr-x. xiaojf xiaojf Dec : start-shuffle-service.sh
-rwxr-xr-x. xiaojf xiaojf Dec : start-slave.sh
-rwxr-xr-x. xiaojf xiaojf Dec : start-slaves.sh
-rwxr-xr-x. xiaojf xiaojf Dec : start-thriftserver.sh
-rwxr-xr-x. xiaojf xiaojf Dec : stop-all.sh
-rwxr-xr-x. xiaojf xiaojf Dec : stop-history-server.sh
-rwxr-xr-x. xiaojf xiaojf Dec : stop-master.sh
-rwxr-xr-x. xiaojf xiaojf Dec : stop-mesos-dispatcher.sh
-rwxr-xr-x. xiaojf xiaojf Dec : stop-mesos-shuffle-service.sh
-rwxr-xr-x. xiaojf xiaojf Dec : stop-shuffle-service.sh
-rwxr-xr-x. xiaojf xiaojf Dec : stop-slave.sh
-rwxr-xr-x. xiaojf xiaojf Dec : stop-slaves.sh
-rwxr-xr-x. xiaojf xiaojf Dec : stop-thriftserver.sh
[root@m1 sbin]# ./start-all.sh
starting org.apache.spark.deploy.master.Master, logging to /usr/local/soft/spark/logs/spark-root-org.apache.spark.deploy.master.Master--m1.out
s1: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/soft/spark/logs/spark-root-org.apache.spark.deploy.worker.Worker--s1.out
s2: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/soft/spark/logs/spark-root-org.apache.spark.deploy.worker.Worker--s2.out
查看进程
[root@m1 sbin]# jps
Master
Kafka
Jps
QuorumPeerMain
这个时候还没有启动hadoop,所以先启动hadoop,再启动spark
[root@m1 sbin]# /usr/local/soft/hadoop/sbin/start-all.sh
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [m1]
m1: starting namenode, logging to /usr/local/soft/hadoop/logs/hadoop-root-namenode-m1.out
s2: starting datanode, logging to /usr/local/soft/hadoop/logs/hadoop-root-datanode-s2.out
s1: starting datanode, logging to /usr/local/soft/hadoop/logs/hadoop-root-datanode-s1.out
Starting secondary namenodes [m1]
m1: starting secondarynamenode, logging to /usr/local/soft/hadoop/logs/hadoop-root-secondarynamenode-m1.out
starting yarn daemons
starting resourcemanager, logging to /usr/local/soft/hadoop/logs/yarn-root-resourcemanager-m1.out
s2: starting nodemanager, logging to /usr/local/soft/hadoop/logs/yarn-root-nodemanager-s2.out
s1: starting nodemanager, logging to /usr/local/soft/hadoop/logs/yarn-root-nodemanager-s1.out
[root@m1 sbin]# jps
ResourceManager
Kafka
SecondaryNameNode
NameNode
Jps
QuorumPeerMain
[root@m1 sbin]# /usr/local/soft/spark/sbin/start-all.sh
starting org.apache.spark.deploy.master.Master, logging to /usr/local/soft/spark/logs/spark-root-org.apache.spark.deploy.master.Master--m1.out
s2: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/soft/spark/logs/spark-root-org.apache.spark.deploy.worker.Worker--s2.out
s1: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/soft/spark/logs/spark-root-org.apache.spark.deploy.worker.Worker--s1.out
[root@m1 sbin]# jps
ResourceManager
Kafka
SecondaryNameNode
Master
NameNode
Jps
QuorumPeerMain
打开spark-shell 测试
[root@m1 sbin]# spark-shell
完成
spark 2.1.0 集群安装的更多相关文章
- hadoop 2.2.0集群安装详细步骤(简单配置,无HA)
安装环境操作系统:CentOS 6.5 i586(32位)java环境:JDK 1.7.0.51hadoop版本:社区版本2.2.0,hadoop-2.2.0.tar.gz 安装准备设置集群的host ...
- CentOS下Hadoop-2.2.0集群安装配置
对于一个刚开始学习Spark的人来说,当然首先需要把环境搭建好,再跑几个例子,目前比较流行的部署是Spark On Yarn,作为新手,我觉得有必要走一遍Hadoop的集群安装配置,而不仅仅停留在本地 ...
- Spark On YARN 分布式集群安装
一.导读 最近开始学习大数据分析,说到大数据分析,就必须提到Hadoop与Spark.要研究大数据分析,就必须安装这两个软件,特此记录一下安装过程.Hadoop使用V2版本,Hadoop有单机.伪分布 ...
- hadoop 2.2.0集群安装
相关阅读: hbase 0.98.1集群安装 本文将基于hadoop 2.2.0解说其在linux集群上的安装方法,并对一些重要的设置项进行解释,本文原文链接:http://blog.csdn.net ...
- ElasticSearch 5.0.0 集群安装部署文档
1. 搭建环境 3台物理机 操作系统 centos7 es1 192.168.31.141 4g内存 2核 es2 192.168.31.142 4g内存 2核 es3 ...
- CentOS下Storm 1.0.0集群安装具体解释
本文环境例如以下: 操作系统:CentOS 6 32位 ZooKeeper版本号:3.4.8 Storm版本号:1.0.0 JDK版本号:1.8.0_77 32位 python版本号:2.6.6 集群 ...
- Linux基于Hadoop2.8.0集群安装配置Hive2.1.1及基础操作
前言 安装Apache Hive前提是要先安装hadoop集群,并且hive只需要在hadoop的namenode节点集群里安装即可,安装前需保证Hadoop已启(动文中用到了hadoop的hdfs命 ...
- spark 2.0.0集群安装与hive on spark配置
1. 环境准备: JDK1.8 hive 2.3.4 hadoop 2.7.3 hbase 1.3.3 scala 2.11.12 mysql5.7 2. 下载spark2.0.0 cd /home/ ...
- 最新版spark1.1.0集群安装配置
和分布式文件系统和NoSQL数据库相比而言,spark集群的安装配置还算是比较简单的: 很多教程提到要安装java和scala,但我发现spark最新版本是包含scala的,JRE采用linux内嵌的 ...
随机推荐
- ios ALAssetsLibrary简单的使用
关于ALAssetsLibrary的简单使用有两个方面: 第一:存储图片/视频方法如下: // With a UIImage, the API user can use -[UIImage CGIma ...
- Real-time 节点
Real-time 节点 Real-time 节点提供一个实时索引.通过这些节点索引的数据提供查询.real-time节点将定期将他们收集的数据转移到同一跨域时间的Historical节点. 使用zo ...
- VUE进阶(路由等)
初级教程:http://www.cnblogs.com/dmcl/p/6137469.html VUE进阶 自定义指令 http://cn.vuejs.org/v2/guide/custom-dire ...
- 【linux】安装samba服务
学习linux一般是在虚拟机中进行,这样就需要你在windows与linux虚拟机中切换,Samba是很好的共享服务 下面是在汇文培训时宋老师写的配置samba的过程,很容易就能配置成功.还有一些视频 ...
- onmouseover事件
根据教学视频写了个onmouseover事件: <!DOCTYPE html> <html> <head> <meta charset="UTF-8 ...
- Liunx的DHCP配置
1.DHCP简介 (1)DHCP(Dynamic Host Configuration Protocol,动态主机配置协议)是一个简化主机IP地址分配管理的TCP/IP标准协议,用户可以利用DHCP服 ...
- C语言精要总结-内存地址对齐与struct大小判断篇
在笔试时,经常会遇到结构体大小的问题,实际就是在考内存地址对齐.在实际开发中,如果一个结构体会在内存中高频地分配创建,那么掌握内存地址对齐规则,通过简单地自定义对齐方式,或者调整结构体成员的顺序,可以 ...
- 蓝桥杯-平方怪圈-java
/* (程序头部注释开始) * 程序的版权和版本声明部分 * Copyright (c) 2016, 广州科技贸易职业学院信息工程系学生 * All rights reserved. * 文件名称: ...
- SQL Server 数据库连接方法
我们用c#写ado或者是asp,都需要连接数据库来读写数据,今天我们就来总结一下数据库连接都有哪些方法. 首先我们就写最直接的方法,在事件中直接连接.(在这里就用WEB页面来展示) 首先我们建立web ...
- crontab定时任务不执行的原因
1.重启crontab若是遇见"You (cloudlogin) are not allowed to use this program (crontab) ...