[hadoop][会装]hadoop ha模式安装

1.简介

　　2.X版本后namenode支持了HA特性，使得整个文件系统的可用性更加增强。

2.安装前提

　　zookeeper集群，zookeeper的安装参考[hadoop][会装]zookeeper安装

3.资源规划

　　

xufeng-1	xufeng-2	xufeng-3
zookeeper	zookeeper	zookeeper
JournalNode	JournalNode	JournalNode
NameNode DFSZKFailoverController	NameNode DFSZKFailoverController
datanode	datanode	datenode
resourcemanager		resourcemanager
nodemanager	nodemanager	nodemanager

注意：
    实际部署的时候JournalNode应该和namenode进程分开部署，这里由于资源有限暂未分开

 4.开始部署

　　a.目录规划

　　hadoop安装目录使用软链接的方式，这样有利于后续升级后也不需要去修改其他环境变量等参数

　　配置文件也和安装包分离，有利于后续升级后配置不需要重新倒腾。　　

hadoop@xufeng- hadoop]$ ll
总用量
lrwxrwxrwx.  hadoop hadoop    7月   : hadoop -> /opt/hadoop/hadooplib/cdh5.4.2/hadoop-2.6.-cdh5.4.2
drwxrwxr-x.  hadoop hadoop  7月   : hadoop-config

　　b.环境变量设定（xufeng-1上修改后同步到其他机器）

#hadoop
export HADOOP_HOME=/opt/hadoop/hadoop
export HADOOP_CONF_DIR=/opt/hadoop/hadoop-config
export HADOOP_LOG_DIR=/opt/hadoop/hadoop/logs

　　c.配置文件修改（xufeng-1上修改后同步到其他机器）

　　首先将软件包中的etc/hadoop下的所有文件拷贝到hadoop-config目录。

　　修改core-site.xml　　

<configuration>
        <!-- 指定hdfs的nameservice为ns1 -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://ns1/</value>--->这里并没有给出具体的那一台主机，因为是两个namenode所以可以将此名称看做为逻辑组合，这个组合后续配置文件中会给出更加详细的描述和定义
        </property>
        <!-- 指定hadoop临时目录 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/hadoop/hadoop-data/hadoop/temp</value>
        </property>
        <!-- 指定zookeeper地址 -->
        <property>
                <name>ha.zookeeper.quorum</name>
                <value>xufeng-:,xufeng-:,xufeng-:</value>
        </property>
</configuration>

　　修改hdfs-site.xml

<configuration>
        <!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
        <property>
                <name>dfs.nameservices</name>------>这里就是core-site.xml中提到的逻辑概念，hdaoop中称之为服务，注意是复数形式，也就是我们如果愿意可以在一个集群中规划处多个服务来
                <value>ns1</value>
        </property>
        <!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
        <property>
                <name>dfs.ha.namenodes.ns1</name>-------->描述这个服务有哪些namenode作为管理节点
                <value>nn1,nn2</value>
        </property>
        <!-- nn1的RPC通信地址 -->
        <property>
                <name>dfs.namenode.rpc-address.ns1.nn1</name>----->描述其中一个namenode的管理节点在哪里
                <value>xufeng-:</value>
        </property>
        <!-- nn1的http通信地址 -->
        <property>
                <name>dfs.namenode.http-address.ns1.nn1</name>
                <value>xufeng-:</value>
        </property>
        <!-- nn2的RPC通信地址 -->
        <property>
                <name>dfs.namenode.rpc-address.ns1.nn2</name>----->描述另外一个namenode的管理节点在哪里？
                <value>xufeng-:</value>
        </property>
        <!-- nn2的http通信地址 -->
        <property>
                <name>dfs.namenode.http-address.ns1.nn2</name>
                <value>xufeng-:</value>
        </property>
        <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
        <property>
                <name>dfs.namenode.shared.edits.dir</name>
                <value>qjournal://xufeng-1:8485;xufeng-2:8485;xufeng-3:8485/ns1</value>----->指出qjournal地址，这个集群就好比NFS，里面存放的是edits.log，主备namenode都可以访问，做到数据共享，藉此是实现HA的关键
        </property>
        <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
        <property>
                <name>dfs.namenode.shared.edits.dir</name>
                <value>qjournal://xufeng-1:8485;xufeng-2:8485;xufeng-3:8485/ns1</value>
        </property>
        <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
        <property>
                <name>dfs.journalnode.edits.dir</name>
                <value>/opt/hadoop/hadoop-data/hadoop/journaldata</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>------------------>两台主备namenode在其本地存放数据（fsimage）的目录
                <value>/opt/hadoop/hadoop-data/hadoop/hdfs/namenode</value>
                <description>NameNode directory for namespace and transaction logs storage.</description>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/opt/hadoop/hadoop-data/hadoop/hdfs/datanode</value>
                <description>DataNode directory</description>
        </property>
        <property>
                <name>dfs.replication</name>
                <value></value>
        </property>
        <!-- 开启NameNode失败自动切换 -->
        <property>
                <name>dfs.ha.automatic-failover.enabled</name>
                <value>true</value>
        </property>
        <!-- 配置失败自动切换实现方式 -->
        <property>
                <name>dfs.client.failover.proxy.provider.ns1</name>
                <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>----->指明是使用zkfc的方式去管理主备切换，既伴随namenode启动也会同时在同样的机器上启动zkfc，它的目的就是管理namenode在zookeeper上节点，藉此来实现主备切换实现。
        </property>
        <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
        <property>
                <name>dfs.ha.fencing.methods</name>------>所谓隔离机制，既是到备namenode升级为主的时候将会使用这一个机制发送命令去杀死另外一个namenode,通常为kill -9（补枪的重要性，万一假死呢）
                <value>
                        sshfence
                        shell(/bin/true)
                </value>
        </property>
        <!-- 使用sshfence隔离机制时需要ssh免登陆 -->------>使用上述隔离机制既是想对方发送一条shell指令，那么久必须是免密码登录的。
        <property>
                <name>dfs.ha.fencing.ssh.private-key-files</name>---
                <value>~/.ssh/id_rsa</value>
        </property>
        <!-- 配置sshfence隔离机制超时时间 -->
        <property>
                <name>dfs.ha.fencing.ssh.connect-timeout</name>
                <value></value>
        </property>
</configuration>

　　修改mapred-site.xml

<configuration>
        <!-- 指定mr框架为yarn方式 -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

　　修改yarn-site.xml

<configuration>
        <!-- 开启RM高可用 -->
        <property>
                <name>yarn.resourcemanager.ha.enabled</name>
                <value>true</value>
        </property>
        <!-- 指定RM的cluster id -->
        <property>
                <name>yarn.resourcemanager.cluster-id</name>------>与namenode的服务一样，这里只写出一个逻辑名称，后续配置会进一步说明
                <value>yrc</value>
        </property>
        <!-- 指定RM的名字 -->
        <property>
                <name>yarn.resourcemanager.ha.rm-ids</name>------>上述cluster-id逻辑名称下具体有几个实际的rm
                <value>rm1,rm2</value>
        </property>
        <!-- 分别指定RM的地址 -->
        <property>
                <name>yarn.resourcemanager.hostname.rm1</name>----->每一个rm的主机位置
                <value>xufeng-</value>
        </property>
        <property>
                <name>yarn.resourcemanager.hostname.rm2</name>
                <value>xufeng-</value>
        </property>
        <!-- 指定zk集群地址 -->
        <property>
                <name>yarn.resourcemanager.zk-address</name>
                <value>xufeng-:,xufeng-:,xufeng-:</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

　　修改slaves文件

　　这个文件是公用的计算节点配置文件，当启动hdfs模块的时候，此时里面写入的主机上会启动datanode进程。

　　当启动yarn模块时候，此时里面写入的主机会启动nodemanager进程。　

xufeng-
xufeng-
xufeng-

5. 启动hadoop方法和顺序（假设zookeeper已经启动完毕）

　　[首次启动场景]                           　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　

　　1.启动journalnode（各个节点上都执行）

hadoop-daemon.sh start journalnode

　　　　　　　　　　　　

　　2.启动namenode与zkfc

　　a.由于有两个namenode，所以在xufeng-1上执行：　　

hdfs namenode -format

　　b.再将其工作目录（hdfs-site.xml的dfs.namenode.name.dir指定的路径）拷贝到xufeng-2这台主机的对应目录上，以保证两个namenode初始化数据相同

scp -r /opt/hadoop/hadoop-data/hadoop/hdfs/namenode/*  xufeng-2:/opt/hadoop/hadoop-data/hadoop/hdfs/namenode

　　c.格式化zkfc（xufeng-1上执行即可）

hdfs zkfc -formatZK

　　d.启动hdfs

start-dfs.sh

　　3.启动yarn

start-yarn.sh

　　以上将hadoop所有的进程都启动完毕。

6. 验证安装结果

　　1.检查hdfs：

        

　　2.检查yarn

至此hadoop ha模式分布式安装完成。

以上。