zookeeper介绍
    是一个分布式服务的协调服务,集群半数以上可用(一般配置为奇数台),
    
    
    快速选举机制:当集群中leader挂掉,所有小弟会投票选举出新的leader。
    快速同步数据:zk将会存储小量用于服务做协调的数据。
    
    标准文件系统用于存储大量数据;而zk存储小量协调数据
    标准文件系统文件就是文件,目录就是目录;zk中文件既是目录。

1.zookeeper的安装与启动
    
    解压并配置环境变量
    配置./conf/zoo.cfg
        tickTime=2000  zk中时间单元
        initLimit=5    小弟连接老大的超时时间
        syncLimit=2    同步数据的超时时间
        dataDir=/home/zkdata
        clientPort=2181
        server.100=hadoop01:2888:3888  
        server.200=hadoop02:2888:3888
        server.300=hadoop03:2888:3888
        100(x)是server的id,2888是各个服务的通信端口,3888选举端口

分发到每一台服务器中
    创建数据目录,并创建myid文件
        mkdir /home/zkdata
        echo 100 > /home/zkdata/myid

启动zk的服务:
        zkServer.sh status/start/stop [./conf/zoo.cfg]

连接zk的集群:
        zkCli.sh [-server hadoop02:2181]
        
        
2.zk的简单使用
    增 : create  /name 'sand'          创建永久节点
                create -s /name 'sand'         创建临时顺序节点
                create -e /name 'sand'         创建临时节点
                get该节点信息:ephemeralOwne不为0 则是临时节点,其值为SessionID
    删:    delete  /name                         删除无子节点的节点
                rmr /name/sex                         递归删除
    改:    set /name 'me'                更新节点
    查:  ls /name/                                    查看name节点下节点信息
                get /name                                    查看name节点数据
                
                
3.hadoop高可用配置
    参照官网完成集群XML文件配置
    
    第一次hdfs的高可用流程:
        先启动zk集群(格式化zkfc之前必须要启动zk集群)
        zkServer.sh start
        
        启动journalnode集群: (不启动namenode无法格式化)
        hadoop-daemons.sh start journalnode

选择一台namenode进行格式化,然后并启动
        hdfs namenode -format
        hadoop-daemon.sh start namenode
        
        再在另一台namenode的服务器上进行拉去元数据操作(手动远程copy)
        hdfs namenode -bootstrapStandby
        
        格式化zkfc
        hdsf zkfc -formatZK

启动hdfs的模块:
        start-dfs.sh

测试是否自动切换namenode:

zookeeper简易配置及hadoop高可用安装的更多相关文章

  1. hadoop高可用安装和原理详解

    本篇主要从hdfs的namenode和resourcemanager的高可用进行安装和原理的阐述. 一.HA安装 1.基本环境准备 1.1.1.centos7虚拟机安装,详情见VMware安装Cent ...

  2. Hadoop 高可用(HA)的自动容灾配置

    参考链接 Hadoop 完全分布式安装 ZooKeeper 集群的安装部署 0. 说明 在 Hadoop 完全分布式安装 & ZooKeeper 集群的安装部署的基础之上进行 Hadoop 高 ...

  3. hadoop 2.7.1 高可用安装部署

    hadoop集群规划 目标:创建2个NameNode,做高可用,一个NameNode挂掉,另一个能够启动:一个运行Yarn,3台DataNode,3台Zookeeper集群,做高可用. 在hadoop ...

  4. 基于 ZooKeeper 搭建 Hadoop 高可用集群

    一.高可用简介 二.集群规划 三.前置条件 四.集群配置 五.启动集群 六.查看集群 七.集群的二次启动 一.高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS ...

  5. Hadoop 学习之路(八)—— 基于ZooKeeper搭建Hadoop高可用集群

    一.高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用,两者的实现基本类似,但 HDFS NameNode 对数据存储及其一致性的要求 ...

  6. Hadoop 系列(八)—— 基于 ZooKeeper 搭建 Hadoop 高可用集群

    一.高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用,两者的实现基本类似,但 HDFS NameNode 对数据存储及其一致性的要求 ...

  7. RabbitMQ集群安装配置+HAproxy+Keepalived高可用

    RabbitMQ集群安装配置+HAproxy+Keepalived高可用 转自:https://www.linuxidc.com/Linux/2016-10/136492.htm rabbitmq 集 ...

  8. HADOOP高可用机制

    HADOOP高可用机制 HA运作机制 什么是HA HADOOP如何实现HA HDFS-HA详解 HA集群搭建 目标: 掌握分布式系统中HA机制的思想 掌握HADOOP内置HA的运作机制 掌握HADOO ...

  9. 六十一.常用组件 、 Kafka集群 、 Hadoop高可用

    1.Zookeeper安装搭建Zookeeper集群并查看各服务器的角色停止Leader并查看各服务器的角色 1.1 安装Zookeeper1)编辑/etc/hosts ,所有集群主机可以相互 pin ...

随机推荐

  1. 初识Qt图片显示、平移及旋转

    1.新建一个Qt Gui应用,项目名称为myPicture,基类选择为QMainWindow,类名设置为MainWindow. 2.在mainwindow.h头文件中添加void paintEvent ...

  2. CAN总线布线规范

    CAN总线布线规范 摘要:今天的CAN总线已从汽车电子慢慢渗透入工业自动化,医疗,铁路等众多领域.据我们的数据统计,客户在使用CAN总线时约80%的问题均是由总线布局布线不合理导致,今天我们就来扒一扒 ...

  3. zdump 命令查看时区和夏令时

    zdump -v 时区名称1. 查看中国PRC时区的2007年的时区规则# zdump -v PRC | grep 2009PRC Mon Sep 17 06:03:55 2007 UTC = Mon ...

  4. 【C++0x】表达式之类型(decltype)

      C++0x引入了新的关键字decltype,它是一个操作符,用来取得表达式的类型,主要在泛型编程中使用.这里,简单介绍一下语法规则. 语法形式:decltype (expression)其中,这里 ...

  5. SQL基础语法的单表操作 select|insert|update|delete(增删改查) 简单使用

    以下案列以此表举例 1.select(查询) select简单的查询分为两种 注:字段也就是表结构中的列的名称 第一种: select  字段名  from  表名 此种查询只列出你所需要查询的字段, ...

  6. 腾讯云Mac图床插件

    背景 随着博客越写越多,难免会遇到需要插入图片来说明的情况. 图床选择 首先调研了市面上的图床服务,本着稳定长期的目标,过滤掉了打一枪换一个地方的野鸡小网站,剩余比较靠谱的优缺点如下. 图床 优点 缺 ...

  7. R语言学习笔记(十九):字符串处理中预定义字符组(表格介绍)

    R中预定义的字符组 代码 含义说明 [:digit:]或\\d 数字; [0-9] [^[:digit:]]或\\D 非数字; 等价于[^0-9] [:lower:] 小写字母; [a-z] [:up ...

  8. 在myeclipse等IDE中添加本地的dtd与schema约束文件

      *针对没有网络无法正确引入dtd而使用不了提示的问题 (配置完后重启IDE)   window->perferences- > 搜索xml c 找到xml catalog 右边点击 a ...

  9. Asp调用存储过程,command.CreateParameter 参数值的类型说明

    Asp调用存储过程,command.CreateParameter 参数值的类型说明 Asp调用各种存储过程,包括带参数,无参数,输入输出参数,带返回值等. 1,调用没有参数的存储过程 <% s ...

  10. [JOISC2018]道路建设 LCT

    [JOISC2018]道路建设 LOJ传送门 考的时候打的大暴力,其实想到了LCT,但是思路有点没转过来.就算想到了估计也不能切,我没有在考场写LCT的自信... 其实这题不是让你直接用LCT维护答案 ...