hadoop2.0初识1.3

1.配置分布式hadoop

　　1.1 准备三台测试机（虚拟机就可以）

　　　　1.1.1 将life-hadoop虚拟机克隆2个分别为life-hadoop02和life-hadoop03

　　　　1.1.2 查看ip地址，并进行主机名映射为life-hadoop02.life.com和life-hadoop03.life.com

　　　　　　　　

　　　　　　　　

　　　　　　　　

　　　　　　　　修改三台机器的/etc/hosts文件

　　　　　　　　　　

　　　　　　　　在C:\windows\System32\drivers\etc\hosts文件添加以下内容

　　　　　　　　　　192.168.0.58    life-hadoop.life.com        life-hadoop
　　　　　　　　　　192.168.0.187    life-hadoop02.life.com        life-hadoop02
　　　　　　　　　　192.168.0.161    life-hadoop03.life.com        life-hadoop03

　　　　1.1.3 修改网络连接

　　　　　　　　1.1.3.1 删除 /etc/udev/rules.d/70-persistent-net.rules文件中eth0的配置，将eth1修改为eth0，并复制eth1中的ATTR{address}所对应的值

　　　　　　　　　　　　

　　　　　　　　1.1.3.2 编辑/etc/sysconfig/network-scripts/ifcfg-eth0文件，将HWADDR的值赋值为刚才复制的ATTR{address}所对应的值

　　　　　　　　　　　　

　　　　1.1.4 检查是否配置完毕

　　　　　　在各个虚拟机以及window系统中分别ping life-hadoop.life.com   ping life-hadoop02.life.com  ping life-hadoop03.life.com看是否相通，如果都有正常的返回，表示测试机准备就绪。

　　　　1.1.5 同步三台虚拟机的时间（ntp实现同步）

　　　　　　1.1.5.1 查看本机是否安装了ntp服务(使用命令 rpm -qa | grep ntp)

　　　　　　　　

　　　　　　1.1.5.2 修改本机时间的同步方式，默认使用网络时间（修改/etc/ntp.conf 配置文件）

　　　　　　　　a.

　　　　　　　　　　

　　　　　　　　b.

　　　　　　　　　　

　　　　　　　　c.

　　　　　　　　　　

　　　　　　1.1.5.3 修改/etc/sysconfig/ntpd配置文件

　　　　　　　　

　　　　　　1.1.5.4 启动ntpd服务

　　　　　　　　

　　　　　　　　

　　　　　　1.1.5.5 在其他两台电脑上编写脚步进行定时去同步本机的ntpd时间

　　　　　　　　[yanglin@life-hadoop01 ~]$ sudo crontab -e

　　　　　　　　　　　　0-59/10 * * * * /usr/sbin/ntpdate life-hadoop.life.com

　　　　　　　　[yanglin@life-hadoop02 ~]$ sudo crontab -e

　　　　　　　　　　　　0-59/10 * * * * /usr/sbin/ntpdate life-hadoop.life.com

　　1.2 配置三台虚拟机的无密码登录（要在三台机器上分别执行以下代码）

　　　　1.2.1 生成密码公钥　　[yanglin@life-hadoop .ssh]$ ssh-keygen -t rsa

　　　　　　　　

　　　　1.2.2 将密码分发到其他机器上，分别运行

　　　　　　　　[yanglin@life-hadoop .ssh]$ ssh-copy-id life-hadoop.life.com

　　　　　　　　[yanglin@life-hadoop .ssh]$ ssh-copy-id life-hadoop02.life.com

　　　　　　　　[yanglin@life-hadoop .ssh]$ ssh-copy-id life-hadoop03.life.com

　　　　1.2.3 使用ssh命令登录查看是否配置成功

　　　　　　　　[yanglin@life-hadoop .ssh]$ ssh life-hadoop.life.com

　　　　　　　　[yanglin@life-hadoop .ssh]$ ssh life-hadoop02.life.com

　　　　　　　　[yanglin@life-hadoop .ssh]$ ssh life-hadoop03.life.com

　　1.3 基于伪分布式配置分布式hdfs集群

　　　　1.3.1 将伪分布式的配置文件复制到分布式下进行修改

　　　　　　　　[yanglin@life-hadoop03 hadoop-2.5.0]$ cp /opt/modules/hadoop-2.5.0/etc/hadoop/* etc/hadoop

　　　　1.3.2 配置namenode(两个namenode,一个是activity,一个standby)

　　　　　　在hdfs.xml文件中配置

　　　　　　　　<!--声明集群的名称-->
　　　　　　　　<property>
　　　　　　　　　　<name>dfs.nameservices</name>
　　　　　　　　　　<value>ns</value>
　　　　　　　　</property>
    
　　　　　　　　<!--声明集群中各个节点的名称-->
　　　　　　　　<property>
　　　　　　　　　　<name>dfs.ha.namenodes.ns</name>
　　　　　　　　　　<value>nn1,nn2</value>
　　　　　　　　</property>
    
　　　　　　　　<!--配置namenode节点所在的主机-->
　　　　　　　　<property>
　　　　　　　　　　<name>dfs.namenode.rpc-address.ns.nn1</name>
　　　　　　　　　　<value>life-hadoop.life.com:8020</value>
　　　　　　　　</property>
　　　　　　　　<property>
　　　　　　　　　　<name>dfs.namenode.rpc-address.ns.nn2</name>
　　　　　　　　　　<value>life-hadoop02.life.com:8020</value>
　　　　　　　　</property>
    
　　　　　　　　<!--配置namenode节点web访问路径-->
　　　　　　　　<property>
　　　　　　　　　　<name>dfs.namenode.http-address.ns.nn1</name>
　　　　　　　　　　<value>life-hadoop.life.com:50070</value>
　　　　　　　　</property>
　　　　　　　　<property>
　　　　　　　　　　<name>dfs.namenode.http-address.ns.nn2</name>
　　　　　　　　　　<value>life-hadoop02.life.com:50070</value>
　　　　　　　　</property>
    
　　　　　　　　<!--配置共享日志-->
　　　　　　　　<property>
　　　　　　　　　　<name>dfs.namenode.shared.edits.dir</name>
　　　　　　　　　　<value>qjournal://life-hadoop.life.com:8485;life-hadoop02.life.com:8485;life-hadoop03.life.com:8485/ns</value>
　　　　　　　　</property>
    
　　　　　　　　<property>
　　　　　　　　　　<name>dfs.journalnode.edits.dir</name>

　　　　　　　　　　<!--给目录要自己创建-->
　　　　　　　　　　<value>/opt/app/hadoop-2.5.0/journalnode/data</value>
　　　　　　　　</property>
    
　　　　　　　　<!--配置代理-->
　　　　　　　　<property>
　　　　　　　　　　<name>dfs.client.failover.proxy.provider.ns</name>
　　　　　　　　　　<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
　　　　　　　　</property>
    
　　　　　　　　<!--配置各个节点间的通信方式-->
　　　　　　　　<property>
　　　　　　　　　　<name>dfs.ha.fencing.methods</name>
　　　　　　　　　　<value>sshfence</value>
　　　　　　　　</property>

　　　　　　　　<property>
　　　　　　　　　　<name>dfs.ha.fencing.ssh.private-key-files</name>
　　　　　　　　　　<value>/home/yanglin/.ssh/id_rsa</value>
　　　　　　　　</property>

　　　　　　在core-site.xml中配置

　　　　　　　　<!--配置hdfs集群-->
     　　　　　　<property>
　　　　　　　　　　<name>fs.defaultFS</name>
　　　　　　　　　　<value>hdfs://ns</value>
　　　　　　　　</property>

　　　　1.3.3 配置resourcemanger,修改yarn-site.xml文件

　　　　　　　　<!--配置resourcemanager所在的主机-->
　　　　　　　　<property>
　　　　　　　　　　<name>yarn.resourcemanager.hostname</name>
　　　　　　　　　　<value>life-hadoop03.life.com</value>
　　　　　　　　</property>

　　　　1.3.4 使用scp方式将hadoop文件分发到另外两台机器上

　　　　　　　　[yanglin@life-hadoop app]$ scp -r hadoop-2.5.0/ yanglin@life-hadoop02.life.com:/opt/app

　　　　　　　　[yanglin@life-hadoop app]$ scp -r hadoop-2.5.0/ yanglin@life-hadoop03.life.com:/opt/app

　　　　1.3.5 格式化namenode

　　　　　　1.3.5.1 在yanglin@life-hadoop.life.com主机上格式化namenode

　　　　　　　　　　[yanglin@life-hadoop hadoop-2.5.0]$ bin/hdfs namenode -format

　　　　　　1.3.5.2 在yanglin@life-hadoop.life.com主机上同步life-hadoop.life.com主机上namenode的信息

　　　　　　　　　　[yanglin@life-hadoop02 hadoop-2.5.0]$ bin/hdfs namenode -bootstrapStandby

　　　　1.3.6 启动hdfs

　　　　　　1.3.6.1 在一台机器上启动即可

　　　　　　　　　　 [yanglin@life-hadoop hadoop-2.5.0]$ sbin/start-dfs.sh

　　　　　　　　　　

　　　　　　　　　　

　　　　　　　　　　

　　　　　　　　　　分别在浏览器中查看http://life-hadoop.life.com:50070和http://life-hadoop02.life.com:50070

　　　　　　　　　　　　

　　　　　　　　　　发现两个都是standby的，此时我们可使用命令指定某个为activity的

　　　　　　　　　　　　[yanglin@life-hadoop hadoop-2.5.0]$ bin/hdfs haadmin -transitionToActive nn1

　　　　　　　　　　      此时在去浏览器中查看发现http://life-hadoop.life.com:50070为activity，而http://life-hadoop02.life.com:50070为standby，如果此时life-hadoop.life.com主机挂了，

　　　　　　　　　　可以使用[yanglin@life-hadoop hadoop-2.5.0]$ bin/hdfs haadmin -transitionToActive nn2 让nn2节点处于活动状态，改hdfs文件系统仍然可以正常使用，但这样必须进行手动　　　　　　　　　　的切换，如果想要自动故障转换，需要使用zookeeper

　　1.4 配置zookeeper集群和自动故障转移

　　　　1.4.1 配置zookeeper集群

　　　　　　1.4.1.1 配置各个zookeeper节点所在的主机，修改/opt/app/zookeeper-3.4.5/conf/zoo.cfg文件

　　　　　　　　#配置zookeeper数据目录，需要自己提前创建
　　　　　　　　dataDir=/opt/app/zookeeper-3.4.5/data/zkData

　　　　　　　　#配置zookeeper集群各个节点所在的注解和端口
　　　　　　　　server.1=life-hadoop.life.com:2888:3888
　　　　　　　　server.2=life-hadoop02.life.com:2888:3888
　　　　　　　　server.3=life-hadoop03.life.com:2888:3888

　　　　　　1.4.1.2 在/opt/app/zookeeper-3.4.5/data/zkData目录下创建/opt/app/zookeeper-3.4.5/data/zkData/myid文件，并进行编辑1

　　　　　　　　　　

　　　　　　1.4.1.3 使用scp方式分发到另外两台节点上,并修改myid文件为2,3

　　　　　　　　[yanglin@life-hadoop app]$ scp -r zookeeper-3.4.5/ yanglin@life-hadoop02.life.com:/opt/app/

　　　　　　　　[yanglin@life-hadoop app]$ scp -r zookeeper-3.4.5/ yanglin@life-hadoop03.life.com:/opt/app/

　　　　　　1.4.1.4 在各个节点上分别启动zookeeper

　　　　　　　　[yanglin@life-hadoop zookeeper-3.4.5]$ bin/zkServer.sh start

　　　　　　　　　　

　　　　　　　　查看各个节点的zookeeper状态

　　　　　　　　　　

　　　　　　　　　　

　　　　　　　　　　

　　　　1.4.2 配置hdfs故障自动转移

　　　　　　1.4.2.1 修改/opt/app/hadoop-2.5.0/etc/hadoop/hdfs-site.xml文件

　　　　　　　　<!--配置namenode自动故障转移-->
　　　　　　　　<property>
　　　　　　　　　　<name>dfs.ha.automatic-failover.enabled.ns</name>
　　　　　　　　　　<value>true</value>
　　　　　　　　</property>

　　　　　　1.4.2.2 修改/opt/app/hadoop-2.5.0/etc/hadoop/core-site.xml文件

　　　　　　　　<!--配置zookeeper集群所在的各个节点-->
　　　　　　　　<property>
　　　　　　　　　　<name>ha.zookeeper.quorum</name>
　　　　　　　　　　<value>life-hadoop.life.com:2181,life-hadoop02.life.com:2181,life-hadoop03.life.com:2181</value>
　　　　　　　　</property>

　　　　　　1.4.2.3 使用scp将这两个文件同步到其他两个节点上

　　　　　　　　[yanglin@life-hadoop hadoop-2.5.0]$ scp etc/hadoop/core-site.xml etc/hadoop/hdfs-site.xml yanglin@life-hadoop02.life.com:/opt/app/hadoop-2.5.0/etc/hadoop

　　　　　　　　[yanglin@life-hadoop hadoop-2.5.0]$ scp etc/hadoop/core-site.xml etc/hadoop/hdfs-site.xml yanglin@life-hadoop03.life.com:/opt/app/hadoop-2.5.0/etc/hadoop

　　　　　　1.4.2.4 格式化hdfs文件系统的zkfc

　　　　　　　　[yanglin@life-hadoop hadoop-2.5.0]$ bin/hdfs zkfc -formatZK

　　　　　　　　查看是否成功：

　　　　　　　　　　进入zookeeper客户端

　　　　　　　　　　　　[yanglin@life-hadoop zookeeper-3.4.5]$ bin/zkCli.sh

　　　　　　　　　　查看是否创建成功

　　　　　　　　　　　　[zk: localhost:2181(CONNECTED) 0] ls /

　　　　　　　　　　　　

　　　　　　1.4.2.5 启动zookeeper故障自动转移控制器

　　　　　　　　　　[yanglin@life-hadoop hadoop-2.5.0]$ sbin/hadoop-daemon.sh start zkfc

　　　　　　　　　　

　　　　　　1.4.2.6 重启hdfs，发一下已经有一个节点为activity,当该节点故障时，自动另一个节点冲standby转换为activity，整个hdfs系统仍能够正常运行。

2.配置resourcemanager的ha

　　2.1 修改/opt/app/hadoop-2.5.0/etc/hadoop/yarn-site.xml文件单

　　　　2.1.1 删除yarn.resourcemanager.hostname属性

　　　　2.1.2 添加一下信息

　　　　　　<!--配置resourcemanger高可用-->
　　　　　　<property>
　　　　　　　　<name>yarn.resourcemanager.ha.enabled</name>
　　　　　　　　<value>true</value>
　　　　　　</property>
    
　　　　　　<!--配置resourcemangager集群id-->
　　　　　　<property>
　　　　　　　　<name>yarn.resourcemanager.cluster-id</name>
　　　　　　　　<value>rs</value>
　　　　　　</property>
    
　　　　　　<!--配置resourcemanager集群的各个节点名-->
　　　　　　<property>
　　　　　　　　<name>yarn.resourcemanager.ha.rm-ids</name>
　　　　　　　　<value>rm1,rm2</value>
　　　　　　</property>
    
　　　　　　<!--配置两个resourcemanager所在的主机-->
　　　　　　<property>
　　　　　　　　<name>yarn.resourcemanager.hostname.rm1</name>
　　　　　　　　<value>life-hadoop02.life.com</value>
　　　　　　</property>
　　　　　　<property>
　　　　　　　　<name>yarn.resourcemanager.hostname.rm2</name>
　　　　　　　　<value>life-hadoop03.life.com</value>
　　　　　　</property>
    
　　　　　　<!--配置zookeeper集群的各个节点所在的主机和端口-->
　　　　　　<property>
　　　　　　　　<name>yarn.resourcemanager.zk-address</name>
　　　　　　　　<value>life-hadoop.life.com:2181,life-hadoop02.life.com:2181,life-hadoop03.life.com:2181</value>
　　　　　　</property>
    
　　　　　　<!--配置resourcemanager重启时回复-->
　　　　　　<property>
　　　　　　　　<name>yarn.resourcemanager.recovery.enabled</name>
　　　　　　　　<value>true</value>
　　　　　　</property>
    
　　　　　　<!--配置resourcemanager存储方式-->
　　　　　　<property>
　　　　　　　　<name>yarn.resourcemanager.store.class</name>
　　　　　　　　<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
　　　　　　</property>

　　2.2 在resourcemanager所在的主机上分别启动resourcemanager

　　　　[yanglin@life-hadoop02 hadoop-2.5.0]$ sbin/start-yarn.sh

　　　　[yanglin@life-hadoop02 hadoop-2.5.0]$ sbin/start-yarn.sh