hadoop多机安装HA+YARN

HA

相比于Hadoop1.0，Hadoop 2.0中的HDFS增加了两个重大特性，HA(热备)和Federation(联邦)。HA即为High Availability，用于解决NameNode单点故障问题，该特性通过热备的方式为主NameNode提供一个备用者，一旦主NameNode出现故障，可以迅速切换至备NameNode，从而实现不间断对外提供服务。

在一个典型的HDFSHA场景中，通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，比如处理来自客户端的RPC请求，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。

为了能够实时同步Active和Standby两个NameNode的元数据信息（实际上editlog），需提供一个共享存储系统，可以是NFS、QJM（Quorum Journal Manager）或者Bookeeper，Active Namenode将数据写入共享存储系统，而Standby监听该系统，一旦发现有新数据写入，则读取这些数据，并加载到自己内存中，以保证自己内存状态与Active NameNode保持基本一致，如此这般，在紧急情况下standby便可快速切为active namenode。

【注意事项】

(1)主备NameNode有多种配置方法，本课程使用Journal Node方式。为此，需要至少准备3个节点作为Journal Node(必须奇数个)，这三个节点可与其他服务，比如NodeManager共用节点

(2)主备两个NameNode应位于不同机器上，这两台机器不要再部署其他服务，即它们分别独享一台机器。（注： HDFS 2.0中无需再部署和配置Secondary Name，备NameNode已经代替它完成相应的功能）

(3)主备NameNode之间有两种切换方式：手动切换和自动切换，其中，自动切换是借助Zookeeper实现的，因此，需单独部署一个Zookeeper集群(通常为奇数个节点，至少3个)。本课程使用手动切换方式。

在图中，Active NameNode作为主，Standby作为备。Standby和NameNode为了实现实时数据服务同步，使用JournalNode(奇数个)完成，当Active瘫痪时，可快速切换到Standby。

一般将Active NameNode作为一个单独节点，然后DataNode和JournalNode作为同一个节点(JournalNode占的资源不多)，至于Standby NameNode应该做一个单独节点，这里放到DataNode和JournalNode的节点中，如上图，没有做一个单独节点，考虑实验机器问题。

准备工作

1) linux优化

同2.1.8(1)。

2) 配置节点

对所有Node，配置vim /etc/hosts添加10.30.30.1 whaozl001等的ip映射；

10.30.30.1 whaozl001

10.30.30.5 whaozl005

10.30.30.6 whaozl006

10.30.30.7 whaozl007

10.30.30.8 whaozl008

10.30.30.2 whaozl002

这里配置3个DataNode，1个NameNode，给每个节点主机修改主机名(虚拟机名称、ip映射名、linux主机名)：

	主机名	ip地址(内网)	linux用户名	密码	充当角色
NameNode	whaozl001(主)	10.30.30.1	haozhulin	123456	nn/	nn/	dn/nm/jn
DataNode	whaozl006	10.30.30.6	haozhulin	123456	dn/nm/jn
DataNode	whaozl007	10.30.30.7	haozhulin	123456	dn/nm/jn
DataNode	whaozl008	10.30.30.8	haozhulin	123456	dn/nm(无jn)

【其他】集群逻辑名称为myhadoop，JournalNode共享命名空间为myspace，集群主NameNode和备NameNode逻辑名称为nn1和nn2。

虚拟机名称就是虚拟机文件夹名。用户均为haozhulin，其在linux的/home目录下有一个haozhulin文件夹(用户文件夹)。在cluster中充当的角色(namenode, secondary namenode, datanode , resourcemanager, nodemanager,Standby namenode，JournalNode)。HA后就没有secondary namenode，Standby nameNode就充当这个角色。whaozl002作为备NameNode。

【注意】这里特别注意，JournalNode一定必须是奇数个，所以whaozl008就不会作为jn咯。

解压

将安装包hadoop-2.2.0.tar.gz存放到/home/haozhulin/install/目录下，并解压,先让其有执行权限，然后直接./就可以解压

chmod
+x hadoop-2.2.0.tar.gz

./hadoop-2.2.0.tar.gz

配置之前，在whaozl001主机的/home/haozhulin/install/hadoop-2.2.0/下建立三个文件夹：~/dfs/name、~/dfs/data、~/temp;

接下来修改/home/haozhulin/install/hadoop-2.2.0/etc/hadoop/下的7个文件。

hadoop-env.sh

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

slaves

yarn-env.sh
修改hadoop-env.sh

配置hadoop的jdk版本环境

cd /home/haozhulin/install/hadoop-2.2.0/etc/hadoop/

vim hadoop-env.sh

hadoop-env.sh为hadoop环境变量，依赖JDK，进行如下修改

#第27行

export JAVA_HOME=/home/haozhulin/install/java/jdk1.7.0_09
修改core-site.xml

在其<configuration></ configuration >中插入：



<property>

    

    <name>fs.defaultFS</name>

    

    <value>hdfs://whaozl001:9000</value>

</property>



<property>

    <name>hadoop.tmp.dir</name>

    <value>file:///home/haozhulin/install/hadoop-2.2.0/tmp</value>

</property>



<property>

    <name>io.file.buffer.size</name>

    <value>131072</value>

</property>

<property>

    <name>hadoop.proxyuser.haozhulin.hosts</name>

    <value>*</value>

</property>

<property>

    <name>hadoop.proxyuser.haozhulin.groups</name>

    <value>*</value>

</property>

若使用zookeeper自动切换主备，在配置hdfs-site.xml中的dfs.namesservices之后，则core-site.xml中的fs.defaultFS对应的value值应为(即保持一致)：

<property>

<name>fs.defaultFS</name>

<value>hdfs://myhadoop1 </value>

</property>
修改hdfs-site.xml

在该文件中配置集群的逻辑名称、集群的NameNode(主/备)的逻辑名称

在其<configuration></ configuration >中插入：



<property>

    <name>dfs.nameservices</name>

    <value>myhadoop </value>

</property>



<property>

    <name>dfs.ha.namenodes.myhadoop</name>

    <value>nn1,nn2</value>

</property>



<property>

    <name>dfs.namenode.rpc-address.myhadoop.nn1</name>

    <value>whaozl001:8020</value>

</property>

<property>

    <name>dfs.namenode.rpc-address. myhadoop.nn2</name>

    <value>whaozl002:8020</value>

</property>



<property>

    <name>dfs.namenode.http-address.myhadoop.nn1</name>

    <value>whaozl001:50070</value>

</property>

<property>

    <name>dfs.namenode.http-address.myhadoop.nn2</name>

    <value>whaozl002:50070</value>

</property>





<property>

    <name>dfs.namenode.shared.edits.dir</name>

    <value>qjournal://whaozl005:8485; whaozl006:8485; whaozl007:8485/myspace</value>

</property>



<property>

    <name>dfs.ha.automatic-failover.enabled</name>

    <value>false</value>

</property>



<property>

    <name>dfs.journalnode.edits.dir</name>

    <value>/home/haozhulin/install/hadoop-2.2.0/dfs/journal/</value>

</property>



<property>

    <name>dfs.namenode.name.dir</name>

    <value>file:///home/haozhulin/install/hadoop-2.2.0/dfs/name</value>

</property>

ß配置DataNode数据信息存放的路径，可配置多个，逗号隔开-->

<property>

    <name>dfs.datanode.data.dir</name>

    <value>file:///home/haozhulin/install/hadoop-2.2.0/dfs/data</value>

</property>



<property>

    <name>dfs.replication</name>

    <value>2</value>

</property>

<property>

    <name>dfs.webhdfs.enabled</name>

    <value>true</value>

</property>
修改mapred-site.xml

从template命名mapred-site.xml后<configuration></configuration>中插入：



<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

</property>

<property>

    <name>mapreduce.jobhistory.address</name>

    <value>whaozl001:10020</value>

</property>

<property>

    <name>mapreduce.jobhistory.webapp.address</name>

    <value> whaozl001:19888</value>

</property>
修改yarn-site.xml

在其<configuration></ configuration >中插入：



<property>

    <name>yarn.resourcemanager.hostname</name>

    <value>whaozl001</value>

</property>



<property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

</property>

<property>

    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

    <value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>



<property>

    <name>yarn.resourcemanager.address</name>

    <value>${yarn.resourcemanager.hostname}:8032</value>

</property>

<property>

    <name>yarn.resourcemanager.scheduler.address</name>

    <value>${yarn.resourcemanager.hostname}:8030</value>

</property>

<property>

    <name>yarn.resourcemanager.resource-tracker.address</name>

    <value>${yarn.resourcemanager.hostname}:8031</value>

</property>

<property>

    <name>yarn.resourcemanager.admin.address</name>

    <value>${yarn.resourcemanager.hostname}:8033</value>

</property>

<property>

    <name>yarn.resourcemanager.webapp.address</name>

    <value>${yarn.resourcemanager.hostname}:8088</value>

</property>



<property>

    <name>yarn.resourcemanager.webapp.https.address</name>

    <value>${yarn.resourcemanager.hostname}:8090</value>

</property>

<property>

    <name>yarn.resourcemanager.scheduler.class</name>

    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>

</property>

<property>

    <name>yarn.scheduler.fair.allocation.file</name>

    <value>${yarn.home.dir}/etc/hadoop/fairscheduler.xml</value>

</property>

<property>

    <name>yarn.nodemanager.local-dirs</name>

    <value>/home/haozhulin/install/hadoop-2.2.0/yarn/local</value>

</property>

<property>

    <name>yarn.log-aggregation-enable</name>

    <value>true</value>

</property>

<property>

    <name>yarn.nodemanager.remote-app-log-dir</name>

    <value>/tmp/logs</value>

</property>

<property>

    <name>yarn.nodemanager.resource.memory-mb</name>

    <value>30720</value>

</property>

<property>

    <name>yarn.nodemanager.resource.cpu-vcores</name>

    <value>12</value>

</property>
修改slaves

#定位到/home/haozhulin/install/hadoop-2.2.0/etc/hadoop/slaves文件

vim etc/hadoop/slaves

#由于是单机伪分布，所以DataNode就只有localhost

#不需要修改，也可以改为127.0.0.1，都是指本机

#slaves文件中记录所有的slave节点,写入以下内容

#指定所有的DataNode节点列表，每行一个节点名称

whaozl005

whaozl006

whaozl007

whaozl008
修改yarn-en.sh

同修改hadoop-env.sh，修改里面的JAVA_HOME值。
修改fairscheduler.xml

fairscheduler.xml为yarn资源的分配配置，这里配置了3个队列(queue)，每一个队列的资源内存单位是MB，CPU为核数(vcores)。

<?xml version="1.0"?>

<allocations>

<queue name="infrastructure">

    <minResources>102400 mb, 50 vcores </minResources>

    <maxResources>153600 mb, 100 vcores </maxResources>

    <maxRunningApps>200</maxRunningApps>

    <minSharePreemptionTimeout>300</minSharePreemptionTimeout>

    <weight>1.0</weight>

    <aclSubmitApps>root,yarn,search,hdfs,haozhulin</aclSubmitApps>

</queue>

<queue name="tool">

    <minResources>102400 mb, 30 vcores</minResources>

    <maxResources>153600 mb, 50 vcores</maxResources>

</queue>

<queue name="sentiment">

    <minResources>102400 mb, 30 vcores</minResources>

    <maxResources>153600 mb, 50 vcores</maxResources>

</queue>

</allocations>
将配置复制到其他节点

这里可以写一个shell脚本进行操作(有大量节点时比较方便)。

scp –r /home/haozhulin/install/hadoop-2.2.0 haozhulin@whaozl005:~/install

scp –r /home/haozhulin/install/hadoop-2.2.0 haozhulin@whaozl006:~/install

scp –r /home/haozhulin/install/hadoop-2.2.0 haozhulin@whaozl007:~/install

scp –r /home/haozhulin/install/hadoop-2.2.0 haozhulin@whaozl008:~/install

scp –r /home/haozhulin/install/hadoop-2.2.0 haozhulin@whaozl002:~/install

scp –r 表示递归到目录和目录中文件远程复制到目标主机，~表示当前用户目录(用户目录~/=/home/haozhulin)。可以先拷贝hadoop-2.2.0解压后，然后采用同步方法，只同步里面的etc/hadoop/下的配置文件即可 (一般还是全部同步过去，懒得拷贝)。

scp –r /home/haozhulin/install/hadoop-2.2.0/etc/hadoop/* haozhulin@whaozl005:~/ install/hadoop-2.2.0/etc/hadoop/
启动Hadoop

启动和格式化步骤与其他的有部分地方不同：

#Step1

#在各个JournalNode节点whaozl005/whaozl006/whaozl007(没有whaozl008)上，输入以下命令启动journalnode服务

sbin/hadoop-daemon.sh start journalnode

#Step2

#在[nn1]=[whaozl001]主机上，对其进行格式化(第一步)，并启动namenode：

bin/hdfs namenode -format

sbin/hadoop-daemon.sh start namenode

#Step3

在[nn2]=[whaozl002]主机上，同步nn1的元数据信息：

bin/hdfs namenode –bootstrapStandby

#Step4

在[nn2]=[whaozl002]主机上，启动namenode：

sbin/hadoop-daemon.sh start namenode

#经过以上4步操作，nn1和nn2均处于standby状态

#Step5

#在nn1上将[nn1]切换为Active(这里是手动切换，如果配置了zookeeper就不需要这句，其自动)

#nn1为hdfs-site.xml中的

bin/hdfs haadmin
-transitionToActive
nn1

#Step Last

#在[nn1]上，启动所有datanode(daemons多一个s)

sbin/hadoop-daemons.sh start datanode

#Step Yarn

#启动yarn

sbin/start-yarn.sh

【注意】可通过jps查看进程，只有第一次启动才格式化，下次启动应该省略掉格式化/同步元数据信息的操作(下面是精简总结)。

sbin/hadoop-daemon.sh start journalnode#在各whaozl005/whaozl006/whaozl007上执行

sbin/hadoop-daemon.sh start namenode#分别在主机whaozl001/whaozl002上执行

bin/hdfs haadmin -transitionToActive nn1#若没zookeeper就在whaozl001上执行该句

sbin/hadoop-daemons.sh start datanode#在whaozl001上执行

#以上四句可以直接替换如下一句执行

sbin/start-dfs.sh

sbin/start-yarn.sh
关闭Hadoop

#在[nn1]=[whaozl001]上，输入以下命令

sbin/stop-dfs.sh
测试Hadoop

#在[nn1]=[whaozl001]上

#测试pi值

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar pi 2 100

#查看集群状态

./bin/hdfs dfsadmin –report

#查看文件块组成

./bin/hdfsfsck / -files –blocks

#查看HDFS:

http://10.30.30.1:50070

#查看RM

http://10.30.30.1:8088