安装spark ha集群 

1.默认安装好hadoop+zookeeper
2.安装scala
1.解压安装包
tar zxvf scala-2.11.7.tgz
2.配置环境变量
vim /etc/profile #scala
export SCALA_HOME=/opt/scala-2.11.7 #CLASSPATH
export CLASSPATH=$CLASSPATH:$SCALA_HOME/lib #PATH
export PATH=$PATH:$SCALA_HOME/bin 保存退出 source /etc/profile
3.验证
scala -version 3.安装spark
1.解压安装包
tar zxvf spark-1.6.0-bin-hadoop2.4.tgz
2.配置环境变量
vim /etc/profile #spark
export SPARK_HOME=/opt/spark-1.6.0 #CLASSPATH
export CLASSPATH=$CLASSPATH:$SPARK_HOME/lib #PATH
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin 保存退出 source /etc/profile 3.修改配置文件
1.根据模板复制相关配置文件
cp spark-env.sh.template spark-env.sh
cp slaves.template slaves
cp log4j.properties.template log4j.properties
cp spark-defaults.conf.template spark-defaults.conf
2.创建相关目录
mkdir /opt/spark-1.6.0/logs
mkdir /opt/spark-1.6.0/tmp
hadoop fs -mkdir /spark //在hdfs上创建存储spark的任务日志文件
3.修改配置文件参数
####spark-env.sh#### 最后加入 其中hadoop.master为主节点 hadoop.slaver1为备份主节点
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop.master:2181,hadoop.slaver1:2181 -Dspark.deploy.zookeeper.dir=/spark"
export JAVA_HOME=/usr/java/jdk1.8.0_65
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=1g ####slaves####将所有的从节点主机名加入
hadoop.slaver1
hadoop.slaver2
hadoop.slaver3 ####log4j.properties####
无需修改 ####spark-defaults.conf####
spark.eventLog.enabled true
spark.eventLog.dir hdfs://ns1:8020/spark
spark.history.fs.logDirectory hdfs://ns1:8020/spark
spark.eventLog.compress true 4.分发到各个节点
scp -r /opt/spark-1.6.0 hadoop@hadoop.slaver1:/opt
scp -r /opt/spark-1.6.0 hadoop@hadoop.slaver2:/opt
scp -r /opt/spark-1.6.0 hadoop@hadoop.slaver3:/opt
5.启动
//先启动zookeeper 和 hdfs
sbin/start-all.sh //注意切换目录 不然跟hadoop的start-all 冲突 spark-shell --master spark://hadoop.master:7077 //集群模式启动客户端
spark-shell //单机模式启动客户端
6.验证
1.jps
2.web
节点主机名:8080 //如果采用默认端口的話则是8080 主节点web
节点主机名:18080 //主节点 历史任务web
节点主机名:4040 //子节点正在进行任务web
3.HA
在备份主机节点执行 start-master.sh命令
然后在主机节点把master进程kill掉,此时会自行切换至备份节点(需要几秒钟的缓冲时间)
7.常用命令
1.启动
start-all.sh //注意切换目录
start-master.sh
stop-master.sh
start-slave.sh 主节点:7077 //默认端口 如果不修改的話
start-history-server.sh //启动任务历史服务
2.使用
1.本机模式
运行 spark-shell
2.yarn
打包运行jar包
spark-submit
--master spark://spark113:7077
--class org.apache.spark.examples.SparkPi
--name Spark-Pi --executor-memory 400M
--driver-memory 512M
/opt/spark-1.6.0/lib/spark-examples-1.6.0-hadoop2.4.0.jar
3.wordcount
val file=sc.textFile("hdfs://ns1:8020/huangzhijian/test.dat")
val count=file.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_+_)
count.saveAsTextFile("hdfs://ns1:8020/output") //需保证hdfs上该目录不存在

  

安装spark ha集群的更多相关文章

  1. 大数据-spark HA集群搭建

    一.安装scala 我们安装的是scala-2.11.8  5台机器全部安装 下载需要的安装包,放到特定的目录下/opt/workspace/并进行解压 1.解压缩 [root@master1 ~]# ...

  2. Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十)安装hadoop2.9.0搭建HA

    如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...

  3. Kafka:ZK+Kafka+Spark Streaming集群环境搭建(九)安装kafka_2.11-1.1.0

    如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...

  4. Kafka:ZK+Kafka+Spark Streaming集群环境搭建(八)安装zookeeper-3.4.12

    如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...

  5. Kafka:ZK+Kafka+Spark Streaming集群环境搭建(三)安装spark2.2.1

    如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...

  6. Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二)安装hadoop2.9.0

    如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...

  7. HUE配置文件hue.ini 的Spark模块详解(图文详解)(分HA集群和HA集群)

    不多说,直接上干货! 我的集群机器情况是 bigdatamaster(192.168.80.10).bigdataslave1(192.168.80.11)和bigdataslave2(192.168 ...

  8. Storm-1.0.1+ZooKeeper-3.4.8+Netty-4.1.3 HA集群安装

    Storm-1.0.1+ZooKeeper-3.4.8+Netty-4.1.3 HA集群安装 下载Storm-1.0.1 http://mirrors.tuna.tsinghua.edu.cn/apa ...

  9. 菜鸟玩云计算之十九:Hadoop 2.5.0 HA 集群安装第2章

    菜鸟玩云计算之十九:Hadoop 2.5.0 HA 集群安装第2章 cheungmine, 2014-10-26 在上一章中,我们准备好了计算机和软件.本章开始部署hadoop 高可用集群. 2 部署 ...

随机推荐

  1. Windows 服务的安装(1)

    在上一篇文章中创建了window服务 http://www.cnblogs.com/netqq/p/4182259.html 在本篇中将教会你如何安装这个服务 服务程序的开发和运行环境均为:windo ...

  2. 转载:MySQL 语句大全:创建、授权、查询、修改等

    本文转载>这里 一.用户创建.权限.删除 1.连接MySql操作 连接:mysql -h 主机地址 -u 用户名 -p 用户密码 (注:u与root可以不用加空格,其它也一样)断开:exit ( ...

  3. hdu 4946 2014 Multi-University Training Contest 8

    Area of Mushroom Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/65536 K (Java/Others) ...

  4. highlight高亮风格

    highlight代码高亮的style有很多个,今天闲着没事,突然想看看各个style的效果.列在这里,以后想用的时候看看. ------------------------------------- ...

  5. java从基础知识(七)java集合

    一.集合类介绍 1.List(元素有放入顺序,可重复) 1.1.List的实现 1.1.1.ArrayList ArrayList就是动态数组(需要连续的存储空间),用MSDN中的说法,就是Array ...

  6. Network

    App Icon: http://www.easyicon.net/

  7. C++11中自定义range

    python中的range功能非常好用 for i in range(100): print(i) 现在利用C++11的基于范围的for循环特性实现C++中的range功能 class range { ...

  8. oracle 视图的创建,游标,left join

    视图的创建: create or replace view dmv_mat_contract_stock_in_bill as select csib.*, sib.STOCK_IO_, sib.CO ...

  9. phalcon3.0.1默认多模块生成的几个bug

    发现用Phalcon DevTools (3.0.0)生成的多模块有一些bug: 默认的路由定义,字符串替换有误 原代码// $namespace = str_replace('Module','Co ...

  10. [BZOJ1251]序列终结者

    [BZOJ1251]序列终结者 试题描述 网上有许多题,就是给定一个序列,要你支持几种操作:A.B.C.D.一看另一道题,又是一个序列 要支持几种操作:D.C.B.A.尤其是我们这里的某人,出模拟试题 ...