linux -- 基于zookeeper搭建yarn的HA高可用集群

实现方式：配置yarn-site.xml配置文件

<configuration>

 <property>

   <name>yarn.resourcemanager.connect.retry-interval.ms</name>

   <value>2000</value>

 </property>

 <property>

   <name>yarn.resourcemanager.ha.enabled</name>

   <value>true</value>

 </property>

 <property>

   <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>

   <value>true</value>

 </property>

 <property>

   <name>yarn.resourcemanager.ha.automatic-failover.embedded</name>

   <value>true</value>

 </property>

 <property>

   <name>yarn.resourcemanager.cluster-id</name>

   <value> beiwangyarn</value>

 </property>

 <property>

   <name>yarn.resourcemanager.ha.rm-ids</name>

   <value>rm1,rm2</value>

 </property>

 <property>

   <name>yarn.resourcemanager.hostname.rm1</name>

   <value>1707a-hadoop1</value>

 </property>

  <property>

   <name>yarn.resourcemanager.hostname.rm2</name>

   <value>1707a-hadoop2</value>

 </property>

 <property>

   <name>yarn.resourcemanager.scheduler.class</name>

  <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>

 </property>

 <property>

   <name>yarn.resourcemanager.recovery.enabled</name>

   <value>true</value>

 </property>

  <property>

   <name>yarn.resourcemanager.store.class</name>

   <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>

 </property>

 <property>

   <name>yarn.resourcemanager.zk.state-store.address</name>

   <value>1707a-hadoop1:2181,1707a-hadoop2:2181,1707a-hadoop3:2181</value>

 </property>

 <property>

   <name>yarn.app.mapreduce.am.scheduler.connection.wait.interval-ms</name>

   <value>5000</value>

 </property>

 <property>

   <name>yarn.resourcemanager.address.rm1</name>

   <value>1707a-hadoop1:8032</value>

 </property>

 <property>

   <name>yarn.resourcemanager.scheduler.address.rm1</name>

   <value>1707a-hadoop1:8030</value>

 </property>

 <property>

   <name>yarn.resourcemanager.webapp.https.address.rm1</name>

   <value>1707a-hadoop1:23189</value>

 </property>

 <property>

   <name>yarn.resourcemanager.webapp.address.rm1</name>

   <value>1707a-hadoop1:8088</value>

 </property>

 <property>

   <name>yarn.resourcemanager.resource-tracker.address.rm1</name>

   <value>1707a-hadoop1:8031</value>

 </property>

 <property>

   <name>yarn.resourcemanager.admin.address.rm1</name>

   <value>1707a-hadoop1:8033</value>

 </property>

 <property>

   <name>yarn.resourcemanager.address.rm2</name>

   <value>1707a-hadoop2:8032</value>

 </property>

 <property>

   <name>yarn.resourcemanager.scheduler.address.rm2</name>

   <value>1707a-hadoop2:8030</value>

 </property>

 <property>

   <name>yarn.resourcemanager.webapp.https.address.rm2</name>

   <value>1707a-hadoop2:23189</value>

 </property>

 <property>

   <name>yarn.resourcemanager.webapp.address.rm2</name>

   <value>1707a-hadoop2:8088</value>

 </property>

 <property>

   <name>yarn.resourcemanager.resource-tracker.address.rm2</name>

   <value>1707a-hadoop2:8031</value>

 </property>

 <property>

   <name>yarn.resourcemanager.admin.address.rm2</name>

   <value>1707a-hadoop2:8033</value>

 </property>

 <property>

   <description>Address where the localizer IPC is.</description>

   <name>yarn.nodemanager.localizer.address</name>

   <value>0.0.0.0:23344</value>

 </property>

 <property>

   <description>NM Webapp address.</description>

   <name>yarn.nodemanager.webapp.address</name>

   <value>0.0.0.0:23999</value>

 </property>

 <property>

   <name>yarn.nodemanager.aux-services</name>

   <value>mapreduce_shuffle</value>

 </property>

 <property>

   <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>

   <value>org.apache.hadoop.mapred.ShuffleHandler</value>

 </property>

 <property>

   <name>yarn.nodemanager.local-dirs</name>

   <value>/tmp/pseudo-dist/yarn/local</value>

 </property>

 <property>

   <name>yarn.nodemanager.log-dirs</name>

   <value>/tmp/pseudo-dist/yarn/log</value>

 </property>

 <property>

   <name>mapreduce.shuffle.port</name>

   <value>23080</value>

 </property>

 <property>

   <name>yarn.resourcemanager.zk-address</name>

   <value>1707a-hadoop1:2181,1707a-hadoop2:2181,1707a-hadoop3:2181</value>

 </property>

</configuration>

将mapred-site.xml.template改为：mapred-site.xml

<configuration>

<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

    <final>true</final>

    </property>

    <property>

    <name>mapreduce.jobhistory.address</name>

    <value>hu-hadoop1:10020</value>

    </property>

    <property>

    <name>mapreduce.jobhistory.webapp.address</name>

    <value>hu-hadoop1:19888</value>

    </property>

</configuration>

同步数据

 scp * hu-hadoop3:/`pwd`

启动：

start-yarn.sh

手动在hu-hadoop2中启动ResourceManager

yarn-daemon.sh start resourcemanager

看看网页吧！！！

之后他会跳到主的页面中：

linux -- 基于zookeeper搭建yarn的HA高可用集群的更多相关文章

七、Hadoop3.3.1 HA 高可用集群QJM （基于Zookeeper，NameNode高可用+Yarn高可用）
目录前文 Hadoop3.3.1 HA 高可用集群的搭建 QJM 的 NameNode HA Hadoop HA模式搭建(高可用) 1.集群规划 2.Zookeeper集群搭建: 3.修改Hadoo ...
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）
声明:作者原创,转载注明出处. 作者:帅气陈吃苹果一.服务器环境主机名 IP 用户名密码安装目录 master188 192.168.29.188 hadoop hadoop /home/ha ...
Hadoop 3.1.2(HA)+Zookeeper3.4.13+Hbase1.4.9(HA)+Hive2.3.4+Spark2.4.0(HA)高可用集群搭建
目录目录 1.前言 1.1.什么是 Hadoop? 1.1.1.什么是 YARN? 1.2.什么是 Zookeeper? 1.3.什么是 Hbase? 1.4.什么是 Hive 1.5.什么是 Sp ...
centos HA高可用集群 heartbeat搭建 heartbeat测试主上停止heartbeat服务测试脑裂两边都禁用ping仲裁第三十二节课
centos HA高可用集群 heartbeat搭建 heartbeat测试主上停止heartbeat服务测试脑裂两边都禁用ping仲裁第三十二节课 heartbeat是Linu ...
HA 高可用集群概述及其原理解析
HA 高可用集群概述及其原理解析 1. 概述 1)所谓HA(High Available),即高可用(7*24小时不中断服务). 2)实现高可用最关键的策略是消除单点故障.HA严格来说应该分成各个组件 ...
基于Keepalived实现LVS双主高可用集群
Reference: https://mp.weixin.qq.com/s?src=3&timestamp=1512896424&ver=1&signature=L1C7us ...
Kubeadm 1.9 HA 高可用集群本地离线镜像部署【已验证】
k8s介绍 k8s 发展速度很快,目前很多大的公司容器集群都基于该项目,如京东,腾讯,滴滴,瓜子二手车,易宝支付,北森等等. kubernetes1.9版本发布2017年12月15日,每三个月一个迭代 ...
[K8s 1.9实践]Kubeadm 1.9 HA 高可用集群本地离线镜像部署
k8s介绍 k8s 发展速度很快,目前很多大的公司容器集群都基于该项目,如京东,腾讯,滴滴,瓜子二手车,北森等等. kubernetes1.9版本发布2017年12月15日,每是那三个月一个迭代, W ...
Zookeeper（四）Hadoop HA高可用集群搭建
一.高可就集群搭建 1.集群规划 2.集群服务器准备 (1) 修改主机名(2) 修改 IP 地址(3) 添加主机名和 IP 映射(4) 同步服务器时间(5) 关闭防火墙(6) 配置免密登录(7) 安装 ...

随机推荐

ABAP-FI常用BAPI
总帐会计: (比较简单全部测试通过,关帐时使用) Line item of document for ledger with summary table GL F: BAPI_GLX_GETDOCI ...
c#四舍五入取整
Math.Round(3.45, 0, MidpointRounding.AwayFromZero) 上取整或下取整 Math.Ceiling(3.1)=4; Math.Floor(3.9)=3;
【Mysql】【Navicat For Mac】Navicat Premium for Mac v12.0.23 + macOS Sierra 10.12.6
参考地址:https://blog.csdn.net/womeng2009/article/details/79700667 [备注]我只用到了部分信息,就激活了内容: Navicat Premiu ...
_itemmod_extra_equipments_enable
如果这个表是空的所有装备都可以当成双甲如果这个表里有配置物品那么只有表里的才可以当成双甲表说明 `comment` 备注 `entry` 物品ID
C#端加载数据库，Combobox与Node控件绑定数据源demo示例
最近一直在做网页.用的js比较多,最近需要做一个C#相关的demo,一开始还有点不适应,写了几句有点感觉了本篇博客的主要内容是C#怎么读取数据库文件里的数据以及相关控件如何绑定数据源,所做的Demo ...
win 10 安装visual studio 2013
下载地址: http://download.microsoft.com/download/9/3/E/93EA27FF-DB02-4822-8771-DCA0238957E9/vs2013.5_ult ...
[c][c++]按位操作
因为有时候需要大量的标志位来判断当前状态等.使用太多的int,bool等会使得程序不“漂亮” 这时候需要“位”操作来解决建立一个标志位 unsigned ; 在定义一些宏,如 #define CON ...
d3 .each()
d3.select("xxx") .each(function (d) { //this表示当前element 而 d表示绑定的数据 something(this); }); 注意 ...
public，protected，private
1.public:public表明该数据成员.成员函数是对所有用户开放的,所有用户都可以直接进行调用 2.private:private表示私有,私有的意思就是除了class自己之外,任何人都不可以直 ...
Codeforces 1073 E - Segment Sum
E - Segment Sum 思路: 数位dp 我们平时做的数位dp都是求满足条件的数的个数, 这里要求满足条件的数的和只要在原来的基础上求每一位的贡献就可以了,所以传参数时要传两个代码: #p ...

linux -- 基于zookeeper搭建yarn的HA高可用集群

linux -- 基于zookeeper搭建yarn的HA高可用集群的更多相关文章

随机推荐

热门专题