hadoop HA集群搭建步骤

	NameNode	DataNode	Zookeeper	ZKFC	JournalNode	ResourceManager	NodeManager
node1	√		√	√		√
node2	√	√	√	√	√		√
node3		√	√		√		√
node4		√			√	√	√

（ZKFC在NameNode上启动，NodeManager在DataNode上启动，可通过start-dfs.sh和start-yarn.sh，yarn-daemons.sh查看）

1、4台机器，64位cenos6.5系统，Hadoop版本2.6.5

2、配置/etc/hosts

3、安装JDK1.8，配置环境变量

4、SSH免密登录

5、在node1，node2，node3上安装zookeeper，详见https://www.cnblogs.com/erbing/p/7493792.html

6、安装配置hadoop集群（在node1上操作）

• 下载并解压hadoop安装包

  tar -zxvf hadoop-2.6.5-x64.tar.gz

• 添加到环境变量中（每台都做）

  vim /etc/profile
  export HADOOP_HOME=/app/hadoop-2.6.5
  export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

• 修改hadoop-env.sh

  export JAVA_HOME=/usr/java/jdk1.8.0_144

　　　（如果ssh端口不是默认的22，在hadoop-env.sh中添加export HADOOP_SSH_OPTS="-p 1234"）

• 修改hdfs-site.xml

  <configuration>
      <!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
      <property>
          <name>dfs.nameservices</name>
          <value>ns1</value>
      </property>
      <!-- ns1下面有两个NameNode，分别是nn1，nn2，name中的ns1必须和nameservice中一样 -->
      <property>
          <name>dfs.ha.namenodes.ns1</name>
          <value>nn1,nn2</value>
      </property>
      <!-- nn1的RPC通信地址 -->
      <property>
          <name>dfs.namenode.rpc-address.ns1.nn1</name>
          <value>node1:9000</value>
      </property>
      <!-- nn1的http通信地址 -->
      <property>
          <name>dfs.namenode.http-address.ns1.nn1</name>
          <value>node1:50070</value>
      </property>
      <!-- nn2的RPC通信地址 -->
      <property>
          <name>dfs.namenode.rpc-address.ns1.nn2</name>
          <value>node2:9000</value>
      </property>
      <!-- nn2的http通信地址 -->
      <property>
          <name>dfs.namenode.http-address.ns1.nn2</name>
          <value>node2:50070</value>
      </property>
      <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
      <property>
          <name>dfs.namenode.shared.edits.dir</name>
          <value>qjournal://node2:8485;node3:8485;node4:8485/ns1</value>
      </property>
      <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
      <property>
          <name>dfs.journalnode.edits.dir</name>
          <value>/app/hadoop-2.6.5/journaldata</value>
      </property>
      <!-- 开启NameNode失败自动切换 -->
      <property>
          <name>dfs.ha.automatic-failover.enabled</name>
          <value>true</value>
      </property>
      <!-- 配置失败自动切换实现方式 -->
      <property>
          <name>dfs.client.failover.proxy.provider.ns1</name>
          <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
      </property>
      <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
      <property>
          <name>dfs.ha.fencing.methods</name>
          <value>
              sshfence
              shell(/bin/true)
          </value>
      </property>
      <!-- 使用sshfence隔离机制时需要ssh免登陆 -->
      <property>
          <name>dfs.ha.fencing.ssh.private-key-files</name>
          <value>/root/.ssh/id_rsa</value>
      </property>
  </configuration>

• 修改core-site.xml

  <configuration>
      <!-- 指定hdfs的nameservice为ns1 -->
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://ns1/</value>
      </property>
      <!-- 指定hadoop临时目录,tmp这个目录需要提前建立好 -->
      <property>
          <name>hadoop.tmp.dir</name>
          <value>/app/hadoop-2.6.5/tmp</value>
      </property>
      <!-- 指定zookeeper地址 -->
      <property>
          <name>ha.zookeeper.quorum</name>
          <value>node1:2181,node2:2181,node3:2181</value>
      </property>
  </configuration>

• 修改mapred-site.xml

  <configuration>
      <!-- 指定mr框架为yarn方式 -->
      <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
      </property>
  </configuration>

• 修改yarn-site.xml

  <configuration>
      <!-- 开启RM高可用 -->
      <property>
          <name>yarn.resourcemanager.ha.enabled</name>
          <value>true</value>
      </property>
      <!-- 指定RM的cluster id -->
      <property>
          <name>yarn.resourcemanager.cluster-id</name>
          <value>yrc</value>
      </property>
      <!-- 指定RM的名字 -->
      <property>
          <name>yarn.resourcemanager.ha.rm-ids</name>
          <value>rm1,rm2</value>
      </property>
      <!-- 分别指定RM的地址 -->
      <property>
          <name>yarn.resourcemanager.hostname.rm1</name>
          <value>node1</value>
      </property>
      <property>
          <name>yarn.resourcemanager.hostname.rm2</name>
          <value>node4</value>
      </property>
      <!-- 指定zk集群地址 -->
      <property>
          <name>yarn.resourcemanager.zk-address</name>
          <value>node1:2181,node2:2181,node3:2181</value>
      </property>
      <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
      </property>
  </configuration>

• 修改yarn-env.sh

  export JAVA_HOME=/usr/java/jdk1.8.0_144

• 修改slaves

  node2
  node3
  node4

• 将配置好的hadoop拷贝到其他节点

  scp -r  ./hadoop-2.6.5 hello@node2:/app/
  scp -r  ./hadoop-2.6.5 hello@node3:/app/
  scp -r  ./hadoop-2.6.5 hello@node4:/app/

7、启动zookeeper集群（分别在node1、node2、node3上启动zk）

zkServer.sh start

#查看状态：一个leader，两个follower
zkServer.sh status

8、启动journalnode（分别在在node2、node3、node4上执行）

hadoop-daemon.sh start journalnode

　　jps命令检验，node2、node3、node4上多了JournalNode进程

9、格式化HDFS

• 在node1上执行命令（任意一个NameNode上）：

hdfs namenode -format

• 格式化后会根据core-site.xml中的hadoop.tmp.dir配置生成元数据文件（fsimage等），上面配置的地址是/app/hadoop-2.6.5/tmp
• 然后启动node1上的NameNode

  hadoop-daemon.sh start namenode

• 在未格式化过的NameNode上（node2）执行以下命令同步元数据

  hdfs  namenode  -bootstrapStandby

  （如果是把一个非HA集群转成HA集群，应该运行命令“hdfs –initializeSharedEdits”，这会初始化JournalNode中的数据）

10、在node1上格式化ZKFC(任意一个NameNode上)

hdfs zkfc -formatZK

　　这会在ZooKeeper中创建znode节点，存储着NameNode失败自动切换的数据

11、启动HDFS(在node1上执行)

sh start-dfs.sh

12、启动YARN(在node1上执行)

sh start-yarn.sh

　　在node4上执行（只启动resourcemanager）

yarn-daemon.sh start resourcemanager

成功部署完成后，通过jps查看进程是否都存在，或者在浏览器输入http://node1:50070查看NameNode信息。

13、为了方便集群管理，给大家提供了一键启动和关闭的脚本

　　启动顺序应为：ZooKeeper -> JournalNode (Hadoop) -> NameNode (Hadoop) -> DataNode (Hadoop) -> 主 ResourceManager/NodeManager (Hadoop) -> 备份 ResourceManager (Hadoop) -> ZKFC (Hadoop) -> MapReduce JobHistory (Hadoop)

　　关闭顺序相反

#!bin/bash
echo "------------开始启动集群-------------"
echo "------------正在启动JournalNode-----------"
for i in root@node2 root@node3 root@node4
do
    ssh $i '/app/hadoop-2.6.5/sbin/hadoop-daemon.sh start journalnode'
done
echo "------------正在启动NameNode-----------"
hadoop-daemon.sh start namenode
ssh root@node2 '/app/hadoop-2.6.5/sbin/hadoop-daemon.sh start namenode'
echo "------------正在启动DataNode-----------"
for i in root@node2 root@node3 root@node4
do
        ssh  $i '/app/hadoop-2.6.5/sbin/hadoop-daemon.sh start datanode'
done
echo "------------正在启动resourmanager和nodemanager-----------"
sh start-yarn.sh
ssh root@node4 '/app/hadoop-2.6.5/sbin/yarn-daemon.sh start resourcemanager'
echo "------------正在启动zkfc-----------"
hadoop-daemon.sh start zkfc
ssh root@node2 '/app/hadoop-2.6.5/sbin/hadoop-daemon.sh start zkfc'
echo "-----------集群启动完成，请用jps检查或浏览器检查是否成功-----------"

node1上一键启动

#!bin/bash
echo "------------开始关闭集群-------------"
echo "------------正在关闭zkfc-----------"
ssh root@node2 '/app/hadoop-2.6.5/sbin/hadoop-daemon.sh stop zkfc'
hadoop-daemon.sh stop zkfc
echo "------------正在关闭resourmanager和nodemanager-----------"
ssh root@node4 '/app/hadoop-2.6.5/sbin/yarn-daemon.sh stop resourcemanager'
sh stop-yarn.sh
echo "------------正在关闭DataNode-----------"
for i in root@node2 root@node3 root@node4
do
        ssh $i '/app/hadoop-2.6.5/sbin/hadoop-daemon.sh stop datanode'
done
echo "------------正在关闭NameNode-----------"
hadoop-daemon.sh stop namenode
ssh root@node2 '/app/hadoop-2.6.5/sbin/hadoop-daemon.sh stop namenode'
echo "------------正在关闭JournalNode-----------"
for i in root@node2 root@node3 root@node4
do
    ssh $i '/app/hadoop-2.6.5/sbin/hadoop-daemon.sh stop journalnode'
done
echo "-----------集群关闭完成，请用jps检查是否成功-----------"

node1上一键关闭

---

测试集群工作状态的一些指令：

./bin/hdfs dfsadmin -report                           查看hdfs的各节点状态信息
./bin/hdfs haadmin -getServiceState nn1        查看namenode高可用
./bin/yarn rmadmin -getServiceState rm1       查看ResourceManager高可用
./sbin/hadoop-daemon.sh start namenode     单独启动一个namenode进程
./sbin/hadoop-daemon.sh start zkfc                     单独启动一个zkfc进程