Hadoop federation配置

1、介绍

hadoop federation也称为联邦，主要是对namenode进行扩容。HA模式下只是实现了hadoop namenode的高可用，但是随着文件数据的不断增家，导致对namenode的压力越来越大，因此就需要对namenode的负载进行均衡处理。联邦的本质是配置多个namenode集群，将不同的路径映射到不同的集群上即可。但是需要注意所有namenode的集群有着一致的clusterid。结构图如下：

2、集群规划

本例中引入四台namenode，分别是s101、s102、s103和s104。其中s101和s102组成集群ns1，s103和s104组成集群ns2。

3、集群准备

以上四台节点都需要配置ssh，能够登录到所有的集群节点。

4、停止原来的集群

$>stop-dfs.sh

5、配置文件

5.1hdfs-site.xml

  • s101和s102配置相同

    <?xml version="1.0" encoding="UTF-8"?>
    
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
<configuration>
    
  <property>
    
    <name>dfs.nameservices</name>
    
    <value>ns1,ns2</value>
    
  </property>
    
  <!-- **************ns1********************* -->
    
  <property>
    
    <name>dfs.ha.namenodes.ns1</name>
    
    <value>nn1,nn2</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.rpc-address.ns1.nn1</name>
    
    <value>s101:8020</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.rpc-address.ns1.nn2</name>
    
    <value>s102:8020</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.http-address.ns1.nn1</name>
    
    <value>s101:50070</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.http-address.ns1.nn2</name>
    
    <value>s102:50070</value>
    
  </property>
    
  <property>
    
    <name>dfs.client.failover.proxy.provider.ns1</name>
    
    <value>org.apache.hadoop.hdfs.server.namenode
    
      .ha.ConfiguredFailoverProxyProvider</value>
    
  </property>
    
  <!-- **************ns2********************* -->
    
  <property>
    
    <name>dfs.ha.namenodes.ns2</name>
    
    <value>nn3,nn4</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.rpc-address.ns2.nn3</name>
    
    <value>s103:8020</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.rpc-address.ns2.nn4</name>
    
    <value>s104:8020</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.http-address.ns2.nn3</name>
    
    <value>s103:50070</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.http-address.ns2.nn4</name>
    
    <value>s104:50070</value>
    
  </property>
    
  <property>
    
    <name>dfs.client.failover.proxy.provider.ns2</name>
    
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    
  </property>
    
  <!--***********************************************-->
    
  <property>
    
    <name>dfs.namenode.shared.edits.dir</name>
    
    <value>qjournal://s102:8485;s103:8485;s104:8485/ns1</value>
    
  </property>

  <property>
    
    <name>dfs.ha.fencing.methods</name>
    
    <value>
    
      sshfence
    
      shell(/bin/true)
    
    </value>
    
  </property>
    
  <property>
    
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    
    <value>/home/centos/.ssh/id_rsa</value>
    
  </property>

  <property>
    
    <name>dfs.ha.automatic-failover.enabled</name>
    
    <value>true</value>
    
  </property>
    
  <property>
    
    <name>dfs.replication</name>
    
    <value>3</value>
    
  </property>
    
</configuration>

    ​

  • s103和s104配置相同

    <?xml version="1.0" encoding="UTF-8"?>
    
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
<configuration>
    
  <property>
    
    <name>dfs.nameservices</name>
    
    <value>ns1,ns2</value>
    
  </property>
    
  <!-- **************ns1********************* -->
    
  <property>
    
    <name>dfs.ha.namenodes.ns1</name>
    
    <value>nn1,nn2</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.rpc-address.ns1.nn1</name>
    
    <value>s101:8020</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.rpc-address.ns1.nn2</name>
    
    <value>s102:8020</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.http-address.ns1.nn1</name>
    
    <value>s101:50070</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.http-address.ns1.nn2</name>
    
    <value>s102:50070</value>
    
  </property>
    
  <property>
    
    <name>dfs.client.failover.proxy.provider.ns1</name>
    
    <value>org.apache.hadoop.hdfs.server.namenode
    
      .ha.ConfiguredFailoverProxyProvider</value>
    
  </property>
    
  <!-- **************ns2********************* -->
    
  <property>
    
    <name>dfs.ha.namenodes.ns2</name>
    
    <value>nn3,nn4</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.rpc-address.ns2.nn3</name>
    
    <value>s103:8020</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.rpc-address.ns2.nn4</name>
    
    <value>s104:8020</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.http-address.ns2.nn3</name>
    
    <value>s103:50070</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.http-address.ns2.nn4</name>
    
    <value>s104:50070</value>
    
  </property>
    
  <property>
    
    <name>dfs.client.failover.proxy.provider.ns2</name>
    
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    
  </property>
    
  <!--***********************************************-->

  <property>
    
    <name>dfs.namenode.shared.edits.dir</name>
    
    <value>qjournal://s102:8485;s103:8485;s104:8485/ns2</value>
    
  </property>

  <property>
    
    <name>dfs.ha.fencing.methods</name>
    
    <value>
    
      sshfence
    
      shell(/bin/true)
    
    </value>
    
  </property>
    
  <property>
    
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    
    <value>/home/centos/.ssh/id_rsa</value>
    
  </property>

  <property>
    
    <name>dfs.ha.automatic-failover.enabled</name>
    
    <value>true</value>
    
  </property>
    
  <property>
    
    <name>dfs.replication</name>
    
    <value>3</value>
    
  </property>
    
</configuration>

5.2 core-site.xml

<?xml version="1.0"?>

<configuration xmlns:xi="http://www.w3.org/2001/XInclude">

  <xi:include href="mountTable.xml" />

  <property>

    <name>fs.defaultFS</name>

    <value>viewfs://ClusterX</value>

  </property>

  <property>

    <name>dfs.journalnode.edits.dir</name>

    <value>/home/centos/hadoop/federation/journalnode</value>

  </property>

  <property>

    <name>hadoop.tmp.dir</name>

    <value>/home/centos/hadoop/federation</value>

  </property>

  <property>

    <name>ha.zookeeper.quorum</name>

    <value>s102:2181,s103:2181,s104:2181</value>

  </property>

</configuration>

5.3 mountTable.xml

<configuration>

  <property>

    <name>fs.viewfs.mounttable.ClusterX.homedir</name>

    <value>/home</value>

  </property>

  <property>

    <name>fs.viewfs.mounttable.ClusterX.link./home</name>

    <value>hdfs://ns1/home</value>

  </property>

  <property>

    <name>fs.viewfs.mounttable.ClusterX.link./tmp</name>

    <value>hdfs://ns2/tmp</value>

  </property>

  <property>

    <name>fs.viewfs.mounttable.ClusterX.link./projects/foo</name>

    <value>hdfs://ns1/projects/foo</value>

  </property>

  <property>

    <name>fs.viewfs.mounttable.ClusterX.link./projects/bar</name>

    <value>hdfs://ns2/projects/bar</value>

  </property>

</configuration>

6、实操

6.1 删除日志和临时目录

$>xcall.sh rm -rf /soft/hadoop/logs/*

$>xcall.sh rm -rf /home/centos/hadoop/federation/*

6.2 修改软连接

$>xcall.sh ln -sfT /soft/hadoop/etc/federation /soft/hadoop/etc/hadoop

6.3 格式化ns1集群

  1. 启动journalnode节点

    登录s102、s103和s104，分别执行以下命令：

    $>hadoop-daemon.sh start journalnode

  2. 格式化nn1节点

    $>hdfs namenode -format

  3. 复制nn1元数据到nn2

    $>scp -r /home/centos/hadoop/federation centos@s102:/home/centos/hadoop

  4. nn2上执行引导

    # s101启动名称节点
    
$>hadoop-daemon.sh start namenode
    
# s102执行引导,不要重格(N)
    
$>hdfs namenode -bootstrapStandby

  5. nn2初始化编辑共享日志

    # 初始化共享编辑日志
    
$>hdfs namenode -initializeSharedEdits

  6. 格式化zk节点

    $>hdfs zkfc -formatZK

  7. 启动nn1和nn2的namenode以及容灾控制器

    # s101
    
$>hadoop-daemon.sh start zkfc

# s102
    
$>hadoop-daemon.sh start namenode
    
$>hadoop-daemon.sh start zkfc

  8. webui测试

    http://s101:50070

6.4 格式化ns2集群

格式化ns2集群时，务必需要使用ns1的集群id，以保证他们是一个完成的集群。

  1. 格式化nn3，使用nn1的集群id

    $>hdfs namenode -format -clusterId CID-e16c5e2f-c0a5-4e51-b789-008e36b7289a

  2. 复制s103的元数据到s104上

    $>scp -r /home/centos/hadoop/federation centos@s104:/home/centos/hadoop/

  3. 在s104引导

    # 在s103启动namenode
    
$>hadoop-daemon.sh start namenode
    
# 在s104执行引导
    
$>hdfs namenode -bootstrapStandby

  4. 在s104上初始化编辑日志

    $>hdfs namenode -initializeSharedEdits

  5. 在s104对zookeeper格式化zkfc(选择Y)

    $>hdfs zkfc -formatZK

  6. 启动s103和s104的namenode和zkfc进程

    # s103
    
$>hadoop-daemon.sh start zkfc
    
# s104
    
$>hadoop-daemon.sh start namenode
    
$>hadoop-daemon.sh start zkfc

6.5 重启集群

$>stop-dfs.sh

$>start-dfs.sh

6.6 创建目录

# 切记，使用-p参数创建上级目录

$>hdfs dfs -mkdir -p /home/data

6.7 上传文件

$>hdfs dfs -put 1.txt /home/data

6.8 webui考察

http://s101:50070/

7、小结

配置联邦模式时，第二个namenode的格式化需要指定clusterid，以保证和之前的集群id相同，同时引入挂载表指定不同目录映射到的namenode集群路径。最后，在指定编辑日志存放地址时，最好不同的namenode集群在各自不同的目录下。联邦模式的引进，有效缓解了namenode节点压力的问题，对namenode实现了扩容和负载平衡。

Hadoop federation配置的更多相关文章

  1. CentOS 7 Hadoop安装配置

    前言:我使用了两台计算机进行集群的配置,如果是单机的话可能会出现部分问题.首先设置两台计算机的主机名 root 权限打开/etc/host文件 再设置hostname,root权限打开/etc/hos ...

  2. ubuntu下hadoop环境配置

    软件环境: 虚拟机:VMware Workstation 10 操作系统:ubuntu-12.04-desktop-amd64 JAVA版本:jdk-7u55-linux-x64 Hadoop版本:h ...

  3. hadoop(四):配置参数

    hadoop参数配置,主要是配置 core-site.xml,hdfs-site.xml,mapred-site.xml 三个配置文件,core-site.xml是全局配置,hdfs-site.xml ...

  4. hadoop mapred-queue-acls 配置(转)

    hadoop作业提交时可以指定相应的队列,例如:-Dmapred.job.queue.name=queue2通过对mapred-queue-acls.xml和mapred-site.xml配置可以对不 ...

  5. hadoop安装配置——伪分布模式

    1. 安装 这里以安装hadoop-0.20.2为例 先安装java,参考这个 去着下载hadoop 解压 2. 配置 修改环境变量 vim ~/.bashrc export HADOOP_HOME= ...

  6. Hadoop平台配置总结

    hadoop的配置,个人感觉是非常容易出问题.一个原因是要配置的地方多,还有个原因就是集群配置要在几台机器上都配置正确,才能保证配置好hadoop,跑起任务. 经过昨晚加今天上午的折腾,总算成功配好了 ...

  7. 有关hadoop分布式配置详解

    linux配置ssh无密码登录 配置ssh无密码登录,先要安装openssh,如下: yum install openssh-clients 准备两台linux服务器或虚拟机,设置两台linux的ho ...

  8. CentOS Hadoop安装配置详细

    总体思路,准备主从服务器,配置主服务器可以无密码SSH登录从服务器,解压安装JDK,解压安装Hadoop,配置hdfs.mapreduce等主从关系. 1.环境,3台CentOS7,64位,Hadoo ...

  9. Hadoop的配置过程（虚拟机中的伪分布模式）

    1引言 hadoop如今已经成为大数据处理中不可缺少的关键技术,在如今大数据爆炸的时代,hadoop给我们处理海量数据提供了强有力的技术支撑.因此,了解hadoop的原理与应用方法是必要的技术知识. ...

随机推荐

  1. 爬取猫眼电影top100的代码

    废话不说,代码附上: #encoding:utf-8 import requests import re import json from multiprocessing import Pool #多 ...

  2. phpstudy+phpstorm配置xdebug

    配置这个xdebug真的是一个很崎岖的过程.首先在网上搜了一下资料~说要下载xdebug对应的版本~然后打印phpinfo之类一堆~结果没有起作用~当时一直就觉得是不是版本不对.然后在群里面问别个给我 ...

  3. 初始 D2 Admin

    1.安装D2 admin 输入:npm install -g @d2-admin/d2-admin-cli 2.创建D2 项目 ,可以选择简洁版或者完整版 输入:d2 create 3.然后 进入创建 ...

  4. 问题：git add 遇到 warning: LF will be replaced by CRLF in 警告（已解决）

    问题描述: git add file_name 提交文件时候提示 自动转换 CRLF 标识 如下图: 解决方法: 执行下面代码在命令行中执行: git config --global core.aut ...

  5. Launch iCar Scan Android Scanner Support Bluetooth X431 iDiag Update Version

    Autonumen.com release new Launch iCar Scan for Android,Launch iCarScan Bluetooth Scanner is update v ...

  6. my.副本

    梦幻西游手游 天蓬下凡 副本 第三关:天蓬终于决定要告白了,主怪大唐,护卫狮驼岭,帮凶是龙宫,打过这关也很简单. 第四关:康太尉找来了天兵,怪仍然是有法有攻,但是打起来也是不难. ZC: 姚太尉是物理 ...

  7. maya2013安装失败如何卸载重装

    AUTODESK系列软件着实令人头疼,安装失败之后不能完全卸载!!!(比如maya,cad,3dsmax等).有时手动删除注册表重装之后还是会出现各种问题,每个版本的C++Runtime和.NET f ...

  8. Murano py27和py34的兼容处理

    tox.ini envlist = py27,py34,pep8 1. django.utils.encoding.force_unicode替换成django.utils.encoding.forc ...

  9. 细讲递归（recursion）

    首先先对递归进行入门. 递归是以自相似的方式重复项目的过程.在编程语言中,如果程序允许您在同一函数内调用函数,则称其为函数的递归调用. 简而言之,递归就是函数的自身调用.可以看看下面的递归使用: vo ...

  10. ThreadLocal 开启事务

    1.ThreadLocal该类提供了线程局部变量 2.分析原理: ThreadLocal内部有一个Map.Map的key是当前线程对象,value是一个Object对象. 模拟该类: public c ...