linux -- 基于zookeeper搭建yarn的HA高可用集群

实现方式：配置yarn-site.xml配置文件

<configuration>

 <property>

   <name>yarn.resourcemanager.connect.retry-interval.ms</name>

   <value>2000</value>

 </property>

 <property>

   <name>yarn.resourcemanager.ha.enabled</name>

   <value>true</value>

 </property>

 <property>

   <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>

   <value>true</value>

 </property>

 <property>

   <name>yarn.resourcemanager.ha.automatic-failover.embedded</name>

   <value>true</value>

 </property>

 <property>

   <name>yarn.resourcemanager.cluster-id</name>

   <value> beiwangyarn</value>

 </property>

 <property>

   <name>yarn.resourcemanager.ha.rm-ids</name>

   <value>rm1,rm2</value>

 </property>

 <property>

   <name>yarn.resourcemanager.hostname.rm1</name>

   <value>1707a-hadoop1</value>

 </property>

  <property>

   <name>yarn.resourcemanager.hostname.rm2</name>

   <value>1707a-hadoop2</value>

 </property>

 <property>

   <name>yarn.resourcemanager.scheduler.class</name>

  <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>

 </property>

 <property>

   <name>yarn.resourcemanager.recovery.enabled</name>

   <value>true</value>

 </property>

  <property>

   <name>yarn.resourcemanager.store.class</name>

   <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>

 </property>

 <property>

   <name>yarn.resourcemanager.zk.state-store.address</name>

   <value>1707a-hadoop1:2181,1707a-hadoop2:2181,1707a-hadoop3:2181</value>

 </property>

 <property>

   <name>yarn.app.mapreduce.am.scheduler.connection.wait.interval-ms</name>

   <value>5000</value>

 </property>

 <property>

   <name>yarn.resourcemanager.address.rm1</name>

   <value>1707a-hadoop1:8032</value>

 </property>

 <property>

   <name>yarn.resourcemanager.scheduler.address.rm1</name>

   <value>1707a-hadoop1:8030</value>

 </property>

 <property>

   <name>yarn.resourcemanager.webapp.https.address.rm1</name>

   <value>1707a-hadoop1:23189</value>

 </property>

 <property>

   <name>yarn.resourcemanager.webapp.address.rm1</name>

   <value>1707a-hadoop1:8088</value>

 </property>

 <property>

   <name>yarn.resourcemanager.resource-tracker.address.rm1</name>

   <value>1707a-hadoop1:8031</value>

 </property>

 <property>

   <name>yarn.resourcemanager.admin.address.rm1</name>

   <value>1707a-hadoop1:8033</value>

 </property>

 <property>

   <name>yarn.resourcemanager.address.rm2</name>

   <value>1707a-hadoop2:8032</value>

 </property>

 <property>

   <name>yarn.resourcemanager.scheduler.address.rm2</name>

   <value>1707a-hadoop2:8030</value>

 </property>

 <property>

   <name>yarn.resourcemanager.webapp.https.address.rm2</name>

   <value>1707a-hadoop2:23189</value>

 </property>

 <property>

   <name>yarn.resourcemanager.webapp.address.rm2</name>

   <value>1707a-hadoop2:8088</value>

 </property>

 <property>

   <name>yarn.resourcemanager.resource-tracker.address.rm2</name>

   <value>1707a-hadoop2:8031</value>

 </property>

 <property>

   <name>yarn.resourcemanager.admin.address.rm2</name>

   <value>1707a-hadoop2:8033</value>

 </property>

 <property>

   <description>Address where the localizer IPC is.</description>

   <name>yarn.nodemanager.localizer.address</name>

   <value>0.0.0.0:23344</value>

 </property>

 <property>

   <description>NM Webapp address.</description>

   <name>yarn.nodemanager.webapp.address</name>

   <value>0.0.0.0:23999</value>

 </property>

 <property>

   <name>yarn.nodemanager.aux-services</name>

   <value>mapreduce_shuffle</value>

 </property>

 <property>

   <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>

   <value>org.apache.hadoop.mapred.ShuffleHandler</value>

 </property>

 <property>

   <name>yarn.nodemanager.local-dirs</name>

   <value>/tmp/pseudo-dist/yarn/local</value>

 </property>

 <property>

   <name>yarn.nodemanager.log-dirs</name>

   <value>/tmp/pseudo-dist/yarn/log</value>

 </property>

 <property>

   <name>mapreduce.shuffle.port</name>

   <value>23080</value>

 </property>

 <property>

   <name>yarn.resourcemanager.zk-address</name>

   <value>1707a-hadoop1:2181,1707a-hadoop2:2181,1707a-hadoop3:2181</value>

 </property>

</configuration>

将mapred-site.xml.template改为：mapred-site.xml

<configuration>

<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

    <final>true</final>

    </property>

    <property>

    <name>mapreduce.jobhistory.address</name>

    <value>hu-hadoop1:10020</value>

    </property>

    <property>

    <name>mapreduce.jobhistory.webapp.address</name>

    <value>hu-hadoop1:19888</value>

    </property>

</configuration>

同步数据

 scp * hu-hadoop3:/`pwd`

启动：

start-yarn.sh

手动在hu-hadoop2中启动ResourceManager

yarn-daemon.sh start resourcemanager

看看网页吧！！！

之后他会跳到主的页面中：

linux -- 基于zookeeper搭建yarn的HA高可用集群的更多相关文章

  1. 七、Hadoop3.3.1 HA 高可用集群QJM （基于Zookeeper，NameNode高可用+Yarn高可用）

    目录 前文 Hadoop3.3.1 HA 高可用集群的搭建 QJM 的 NameNode HA Hadoop HA模式搭建(高可用) 1.集群规划 2.Zookeeper集群搭建: 3.修改Hadoo ...

  2. Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）

    声明:作者原创,转载注明出处. 作者:帅气陈吃苹果 一.服务器环境 主机名 IP 用户名 密码 安装目录 master188 192.168.29.188 hadoop hadoop /home/ha ...

  3. Hadoop 3.1.2(HA)+Zookeeper3.4.13+Hbase1.4.9(HA)+Hive2.3.4+Spark2.4.0(HA)高可用集群搭建

    目录 目录 1.前言 1.1.什么是 Hadoop? 1.1.1.什么是 YARN? 1.2.什么是 Zookeeper? 1.3.什么是 Hbase? 1.4.什么是 Hive 1.5.什么是 Sp ...

  4. centos HA高可用集群 heartbeat搭建 heartbeat测试 主上停止heartbeat服务 测试脑裂 两边都禁用ping仲裁 第三十二节课

    centos   HA高可用集群  heartbeat搭建 heartbeat测试  主上停止heartbeat服务  测试脑裂  两边都禁用ping仲裁  第三十二节课 heartbeat是Linu ...

  5. HA 高可用集群概述及其原理解析

    HA 高可用集群概述及其原理解析 1. 概述 1)所谓HA(High Available),即高可用(7*24小时不中断服务). 2)实现高可用最关键的策略是消除单点故障.HA严格来说应该分成各个组件 ...

  6. 基于Keepalived实现LVS双主高可用集群

    Reference:  https://mp.weixin.qq.com/s?src=3&timestamp=1512896424&ver=1&signature=L1C7us ...

  7. Kubeadm 1.9 HA 高可用集群本地离线镜像部署【已验证】

    k8s介绍 k8s 发展速度很快,目前很多大的公司容器集群都基于该项目,如京东,腾讯,滴滴,瓜子二手车,易宝支付,北森等等. kubernetes1.9版本发布2017年12月15日,每三个月一个迭代 ...

  8. [K8s 1.9实践]Kubeadm 1.9 HA 高可用 集群 本地离线镜像部署

    k8s介绍 k8s 发展速度很快,目前很多大的公司容器集群都基于该项目,如京东,腾讯,滴滴,瓜子二手车,北森等等. kubernetes1.9版本发布2017年12月15日,每是那三个月一个迭代, W ...

  9. Zookeeper（四）Hadoop HA高可用集群搭建

    一.高可就集群搭建 1.集群规划 2.集群服务器准备 (1) 修改主机名(2) 修改 IP 地址(3) 添加主机名和 IP 映射(4) 同步服务器时间(5) 关闭防火墙(6) 配置免密登录(7) 安装 ...

随机推荐

  1. cmake用法及常用命令总结

    CMakeLists.txt 的语法比较简单,由命令.注释和空格组成,其中命令是不区分大小写的.指令是大小写无关的,参数和变量是大小写相关的.但推荐全部使用大写指令.符号 # 后面的内容被认为是注释. ...

  2. 记时，耗时，Stopwatch

    public static string InvokeStopwatch(Action function) { System.Diagnostics.Stopwatch sw = new System ...

  3. 【Cucumber】【命令行】

    知识点 参考:https://www.cnblogs.com/worklog/p/5253297.html cucumber的命令行选项 首先查看命令行选项.和其它命令行工具一样,cucumber提供 ...

  4. 软件测试中Bug的生命周期以及Bug的严重等级

    软件测试中Bug的生命周期以及Bug的严重等级 我猜你们都会,但能说专业且全面不? 1.首先当测试人员接到一个项目或产品准备测试的时候,测试人员会根据测试用例一步步的来执行用例进行简单的功能测试.当测 ...

  5. Java SE 枚举的基本用法

    出于对自己基础的稳打,期末考试后依旧对SE部分进行复习 枚举的基本用法 public enum Season { SPRING,SUMMER,AUTUMN,WINTER } public class ...

  6. LRN（local response normalization--局部响应标准化）

    LRN全称为Local Response Normalization,即局部响应归一化层,LRN函数类似DROPOUT和数据增强作为relu激励之后防止数据过拟合而提出的一种处理方法.这个函数很少使用 ...

  7. 图片方向 image orientation Exif

    更新 : 2019-01-02 refer https://stackoverflow.com/questions/3129099/how-to-flip-images-horizontally-wi ...

  8. 皮尔逊残差 | Pearson residual

    参考:Pearson Residuals 这些概念到底是写什么?怎么产生的? 统计学功力太弱了!

  9. 20165327 2017-2018-2 《JAVA程序设计》第5周学习总结

    20165327 2017-2018-2 <JAVA程序设计>第5周学习总结 一.第7.10章内容小结 第7章:内部类与异常类 内容小结: 1. Java支持在一个类中声明另一个类,这样的 ...

  10. WCF服务寄宿IIS与Windows服务 - C#/.NET

    WCF是Windows平台下程序间通讯的应用程序框架.整合和 .net Remoting,WebService,Socket的机制,是用来开发windows平台上分布式开发的最佳选择.wcf程序的运行 ...