hadoop HA集群搭建（亲测）

1.hadoop-env.sh

2.core-site.xml

<name>fs.defaultFS</name>

</property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/app/hadoop-2.7.2/tmp</value>

</property>

<name>ha.zookeeper.quorum</name>

<value>spark05:2181,spark06:2181,spark07:2181</value>

</property>

</configuration>

3.hdfs-site.xml

<name>dfs.nameservices</name>

</property>

<name>dfs.ha.namenodes.ns1</name>

</property>

<name>dfs.namenode.rpc-address.ns1.nn1</name>

<value>spark01:9000</value>

</property>

<name>dfs.namenode.http-address.ns1.nn1</name>

<value>spark01:50070</value>

</property>

<name>dfs.namenode.rpc-address.ns1.nn2</name>

<value>spark02:9000</value>

</property>

<name>dfs.namenode.http-address.ns1.nn2</name>

<value>spark02:50070</value>

</property>

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://spark05:8485;spark06:8485;spark07:8485/ns1</value>

</property>

<name>dfs.journalnode.edits.dir</name>

<value>/home/hadoop/app/hadoop-2.7.2/journaldata</value>

</property>

<name>dfs.ha.automatic-failover.enabled</name>

</property>

<property> <name>dfs.client.failover.proxy.provider.ns1</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

<name>dfs.ha.fencing.methods</name>

<value>sshfence

shell(/bin/true)

</value>

</property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

<value>/home/hadoop/.ssh/id_rsa</value>

</property>

<name>dfs.ha.fencing.ssh.connect-timeout</name>

</property>

</configuration>

3.mapred-site.xml

<name>mapreduce.framework.name</name>

</property>

</configuration>

4.yarn-site.xml

<property> <name>yarn.resourcemanager.ha.enabled</name>

</property>

<name>yarn.resourcemanager.cluster-id</name>

</property>

<name>yarn.resourcemanager.ha.rm-ids</name>

</property>

<property> <name>yarn.resourcemanager.hostname.rm1</name>

<value>spark03</value>

</property>

<property> <name>yarn.resourcemanager.hostname.rm2</name>

<value>spark04</value>

</property>

<name>yarn.resourcemanager.zk-address</name> <value>spark05:2181,spark06:2181,spark07:2181</value>

</property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

5.slaves

spark05

spark06

spark07

启动

1.启动三个zookeeper

2.启动三个journalnode

hadoop-daemon.sh start journalnode

3.格式化HDFS

#在spark01上执行命令:

hdfs namenode -format

#格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/hadoop/hadoop-2.7.2/tmp，然后将/weekend/hadoop-2.4.1/tmp拷贝到hadoop02的/weekend/hadoop-2.7.2/下。

scp -r tmp/ hadoop02:/home/hadoop/app/hadoop-2.7.2/

##也可以这样，建议hdfs namenode -bootstrapStandby

4格式化ZKFC(在hadoop【spark】01上执行即可)

hdfs zkfc -formatZK

5.启动HDFS(在hadoop【spark】01上执行)

sbin/start-dfs.sh

6.启动YARN(#####注意#####：是在spark03上执行start-yarn.sh，把namenode和resourcemanager分开是因为性能问题，因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动)

sbin/start-yarn.sh

然后手动启动第二个resourcemanager

yarn-daemon.sh start resourcemanager

7.在浏览器中查看nanenode

http://node1:50070

http://node2:50070

8.验证HDFS HA

首先向hdfs上传一个文件

hadoop fs -put /etc/profile /profile

hadoop fs -ls /

然后再kill掉active的NameNode

kill -9

通过浏览器访问：http://192.168.1.202:50070

NameNode ‘hadoop02:9000’ (active)

这个时候weekend02上的NameNode变成了active

9.在执行命令：

hadoop fs -ls /

-rw-r–r– 3 root supergroup 1926 2014-02-06 15:36 /profile

刚才上传的文件依然存在！！！

手动启动那个挂掉的NameNode

sbin/hadoop-daemon.sh start namenode

通过浏览器访问：http://192.168.1.201:50070

NameNode ‘hadoop01:9000’ (standby)

验证YARN：

运行一下hadoop提供的demo中的WordCount程序：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /profile /out

1.hadoop-env.sh
2.core-site.xml<configuration>  <property> <name>fs.defaultFS</name> <value>hdfs://ns1/</value> </property>  <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/app/hadoop-2.7.2/tmp</value> </property>  <property> <name>ha.zookeeper.quorum</name> <value>spark05:2181,spark06:2181,spark07:2181</value> </property> </configuration>

3.hdfs-site.xml<configuration>  <property> <name>dfs.nameservices</name> <value>ns1</value> </property>  <property> <name>dfs.ha.namenodes.ns1</name> <value>nn1,nn2</value> </property>  <property> <name>dfs.namenode.rpc-address.ns1.nn1</name> <value>spark01:9000</value> </property>  <property> <name>dfs.namenode.http-address.ns1.nn1</name> <value>spark01:50070</value> </property>  <property> <name>dfs.namenode.rpc-address.ns1.nn2</name> <value>spark02:9000</value> </property>  <property> <name>dfs.namenode.http-address.ns1.nn2</name> <value>spark02:50070</value> </property>  <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://spark05:8485;spark06:8485;spark07:8485/ns1</value> </property>  <property> <name>dfs.journalnode.edits.dir</name> <value>/home/hadoop/app/hadoop-2.7.2/journaldata</value> </property>  <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property>  <property> <name>dfs.client.failover.proxy.provider.ns1</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property>  <property> <name>dfs.ha.fencing.methods</name> <value>sshfence shell(/bin/true) </value> </property>  <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/home/hadoop/.ssh/id_rsa</value> </property>  <property> <name>dfs.ha.fencing.ssh.connect-timeout</name> <value>30000</value> </property></configuration>
3.mapred-site.xml<configuration>  <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property></configuration>
4.yarn-site.xml<configuration>  <property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property>  <property> <name>yarn.resourcemanager.cluster-id</name> <value>yrc</value> </property>  <property> <name>yarn.resourcemanager.ha.rm-ids</name> <value>rm1,rm2</value> </property>  <property> <name>yarn.resourcemanager.hostname.rm1</name> <value>spark03</value> </property> <property> <name>yarn.resourcemanager.hostname.rm2</name> <value>spark04</value> </property>  <property> <name>yarn.resourcemanager.zk-address</name> <value>spark05:2181,spark06:2181,spark07:2181</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property></configuration>

5.slavesspark05 spark06 spark07

启动1.启动三个zookeeper
2.启动三个journalnodehadoop-daemon.sh start journalnode
3.格式化HDFS #在spark01上执行命令: hdfs namenode -format #格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/hadoop/hadoop-2.7.2/tmp，然后将/weekend/hadoop-2.4.1/tmp拷贝到hadoop02的/weekend/hadoop-2.7.2/下。 scp -r tmp/ hadoop02:/home/hadoop/app/hadoop-2.7.2/ ##也可以这样，建议hdfs namenode -bootstrapStandby 4格式化ZKFC(在hadoop【spark】01上执行即可) hdfs zkfc -formatZK
5.启动HDFS(在hadoop【spark】01上执行) sbin/start-dfs.sh
6.启动YARN(#####注意#####：是在spark03上执行start-yarn.sh，把namenode和resourcemanager分开是因为性能问题，因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动) sbin/start-yarn.sh
然后手动启动第二个resourcemanageryarn-daemon.sh start resourcemanager
7.在浏览器中查看nanenode http://node1:50070http://node2:50070
8.验证HDFS HA 首先向hdfs上传一个文件 hadoop fs -put /etc/profile /profile hadoop fs -ls / 然后再kill掉active的NameNode kill -9 通过浏览器访问：http://192.168.1.202:50070 NameNode ‘hadoop02:9000’ (active) 这个时候weekend02上的NameNode变成了active
9.在执行命令： hadoop fs -ls / -rw-r–r– 3 root supergroup 1926 2014-02-06 15:36 /profile 刚才上传的文件依然存在！！！手动启动那个挂掉的NameNode sbin/hadoop-daemon.sh start namenode 通过浏览器访问：http://192.168.1.201:50070 NameNode ‘hadoop01:9000’ (standby) 验证YARN：运行一下hadoop提供的demo中的WordCount程序： hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /profile /out

https://blog.csdn.net/u013821825/article/details/51377415

hadoop HA集群搭建（亲测）的更多相关文章

hadoop ha集群搭建
集群配置: jdk1.8.0_161 hadoop-2.6.1 zookeeper-3.4.8 linux系统环境:Centos6.5 3台主机:master.slave01.slave02 Hado ...
hadoop HA集群搭建步骤
NameNode DataNode Zookeeper ZKFC JournalNode ResourceManager NodeManager node1 √ √ √ √ node2 ...
大数据-hadoop HA集群搭建
一.安装hadoop.HA及配置journalnode 实现namenode HA 实现resourcemanager HA namenode节点之间通过journalnode同步元数据首先下载需要 ...
Hadoop HA集群的搭建
HA 集群搭建的难度主要在于配置文件的编写, 心细,心细,心细! ha模式下,secondary namenode节点不存在... 集群部署节点角色的规划(7节点)------------------ ...
基于zookeeper的高可用Hadoop HA集群安装
(1)hadoop2.7.1源码编译 http://aperise.iteye.com/blog/2246856 (2)hadoop2.7.1安装准备 http://aperise.iteye.com ...
hadoop2.8 ha 集群搭建
简介: 最近在看hadoop的一些知识,下面搭建一个ha (高可用)的hadoop完整分布式集群: hadoop的单机,伪分布式,分布式安装 hadoop2.8 集群 1 (伪分布式搭建 hadoop ...
Hadoop分布式集群搭建
layout: "post" title: "Hadoop分布式集群搭建" date: "2017-08-17 10:23" catalog ...
Hadoop+HBase 集群搭建
Hadoop+HBase 集群搭建 1. 环境准备说明:本次集群搭建使用系统版本Centos 7.5 ,软件版本 V3.1.1. 1.1 配置说明本次集群搭建共三台机器,具体说明下: 主机名 IP ...
全网最详细的Hadoop HA集群启动后，两个namenode都是active的解决办法（图文详解）
不多说,直接上干货! 这个问题,跟全网最详细的Hadoop HA集群启动后,两个namenode都是standby的解决办法(图文详解) 是大同小异. 欢迎大家,加入我的微信公众号:大数据躺过的坑 ...

随机推荐

Spring 实战学习笔记（1）
Spring的核心依赖注入 & 切面编程 1.创建应用组件之间协作的行为通常称为装配.(wiring) 2.Spring EL表达式.SEL是一种能在运行时构建复杂表达式,存取对象属性.对象 ...
ideal 控制台乱码解决
run config 中 tomcat VM options中填入一下命令 -Dfile.encoding=UTF-8
HttpServlet cannot be resolved to a type解决方法
1:是因为没有加入servlet-api.jar 2:下载网址:http://download.csdn.net/detail/jiuyueguang/5745209 3:然后在项目右键->bu ...
HTML5 <template>
http://www.zhangxinxu.com/wordpress/2014/07/hello-html5-template-tag/
MySQL学习笔记（一）——数据库基础
自己上大学时也学习过数据库,做开发时也用到过,但是做界面开发对于数据库的使用相对来说是比较简单的,大学时系统学习的数据库也还给老师了,在测试工作中也只是用到了一些基础sql,增删改查这一类的,但是自己 ...
c++变量定义
float **a 表示a是一个“指针的指针”,也可以理解为是一个二维数组的指针,***a具有类似的解释,可以理解为是一个三维数组的指针.
all.css
@charset "utf-8"*{-webkit-tap-highlight-color:rgba(0,0,0,0); padding:0; margin:0;}body{ fo ...
[转载]Android版本更新与JSON解析
/* *注意,这篇文章转载自: *http://blog.csdn.net/xjanker2/article/details/6303937 *一切权利归作者所有,这里只是转载,曾经用到过这篇文 ...
「USACO16OPEN」「LuoguP3147」262144（区间dp
P3147 [USACO16OPEN]262144 题目描述 Bessie likes downloading games to play on her cell phone, even though ...
C++之PIMPL模式
1 PIMPL解释 PIMPL(Private Implementation 或 Pointer to Implementation)是通过一个私有的成员指针,将指针所指向的类的内部实现数据进行隐藏. ...

hadoop HA集群搭建（亲测）

hadoop HA集群搭建（亲测）的更多相关文章

随机推荐

热门专题