zookeeper简易配置及hadoop高可用安装
zookeeper介绍
是一个分布式服务的协调服务,集群半数以上可用(一般配置为奇数台),
快速选举机制:当集群中leader挂掉,所有小弟会投票选举出新的leader。
快速同步数据:zk将会存储小量用于服务做协调的数据。
标准文件系统用于存储大量数据;而zk存储小量协调数据
标准文件系统文件就是文件,目录就是目录;zk中文件既是目录。
1.zookeeper的安装与启动
解压并配置环境变量
配置./conf/zoo.cfg
tickTime=2000 zk中时间单元
initLimit=5 小弟连接老大的超时时间
syncLimit=2 同步数据的超时时间
dataDir=/home/zkdata
clientPort=2181
server.100=hadoop01:2888:3888
server.200=hadoop02:2888:3888
server.300=hadoop03:2888:3888
100(x)是server的id,2888是各个服务的通信端口,3888选举端口
分发到每一台服务器中
创建数据目录,并创建myid文件
mkdir /home/zkdata
echo 100 > /home/zkdata/myid
启动zk的服务:
zkServer.sh status/start/stop [./conf/zoo.cfg]
连接zk的集群:
zkCli.sh [-server hadoop02:2181]
2.zk的简单使用
增 : create /name 'sand' 创建永久节点
create -s /name 'sand' 创建临时顺序节点
create -e /name 'sand' 创建临时节点
get该节点信息:ephemeralOwne不为0 则是临时节点,其值为SessionID
删: delete /name 删除无子节点的节点
rmr /name/sex 递归删除
改: set /name 'me' 更新节点
查: ls /name/ 查看name节点下节点信息
get /name 查看name节点数据
3.hadoop高可用配置
参照官网完成集群XML文件配置
第一次hdfs的高可用流程:
先启动zk集群(格式化zkfc之前必须要启动zk集群)
zkServer.sh start
启动journalnode集群: (不启动namenode无法格式化)
hadoop-daemons.sh start journalnode
选择一台namenode进行格式化,然后并启动
hdfs namenode -format
hadoop-daemon.sh start namenode
再在另一台namenode的服务器上进行拉去元数据操作(手动远程copy)
hdfs namenode -bootstrapStandby
格式化zkfc
hdsf zkfc -formatZK
启动hdfs的模块:
start-dfs.sh
测试是否自动切换namenode:
zookeeper简易配置及hadoop高可用安装的更多相关文章
- hadoop高可用安装和原理详解
本篇主要从hdfs的namenode和resourcemanager的高可用进行安装和原理的阐述. 一.HA安装 1.基本环境准备 1.1.1.centos7虚拟机安装,详情见VMware安装Cent ...
- Hadoop 高可用(HA)的自动容灾配置
参考链接 Hadoop 完全分布式安装 ZooKeeper 集群的安装部署 0. 说明 在 Hadoop 完全分布式安装 & ZooKeeper 集群的安装部署的基础之上进行 Hadoop 高 ...
- hadoop 2.7.1 高可用安装部署
hadoop集群规划 目标:创建2个NameNode,做高可用,一个NameNode挂掉,另一个能够启动:一个运行Yarn,3台DataNode,3台Zookeeper集群,做高可用. 在hadoop ...
- 基于 ZooKeeper 搭建 Hadoop 高可用集群
一.高可用简介 二.集群规划 三.前置条件 四.集群配置 五.启动集群 六.查看集群 七.集群的二次启动 一.高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS ...
- Hadoop 学习之路(八)—— 基于ZooKeeper搭建Hadoop高可用集群
一.高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用,两者的实现基本类似,但 HDFS NameNode 对数据存储及其一致性的要求 ...
- Hadoop 系列(八)—— 基于 ZooKeeper 搭建 Hadoop 高可用集群
一.高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用,两者的实现基本类似,但 HDFS NameNode 对数据存储及其一致性的要求 ...
- RabbitMQ集群安装配置+HAproxy+Keepalived高可用
RabbitMQ集群安装配置+HAproxy+Keepalived高可用 转自:https://www.linuxidc.com/Linux/2016-10/136492.htm rabbitmq 集 ...
- HADOOP高可用机制
HADOOP高可用机制 HA运作机制 什么是HA HADOOP如何实现HA HDFS-HA详解 HA集群搭建 目标: 掌握分布式系统中HA机制的思想 掌握HADOOP内置HA的运作机制 掌握HADOO ...
- 六十一.常用组件 、 Kafka集群 、 Hadoop高可用
1.Zookeeper安装搭建Zookeeper集群并查看各服务器的角色停止Leader并查看各服务器的角色 1.1 安装Zookeeper1)编辑/etc/hosts ,所有集群主机可以相互 pin ...
随机推荐
- 【openjudge】【字符串】P6374文字排版
[描述] 给一段英文短文,单词之间以空格分隔(每个单词包括其前后紧邻的标点符号).请将短文重新排版,要求如下: 每行不超过80个字符:每个单词居于同一行上:在同一行的单词之间以一个空格分隔:行首和行尾 ...
- nodejs的expresss中post的req.body总是undefined的原因
1)因为express将body-parser分离了出来,所以你需要手动添加进下面的内容即可 var path = require('path'); var bodyParser = require( ...
- Mac app打包成dmg
1. 找到打包的app文件,在Xcode工程的Products目录下 2. 在桌面新建一个文件夹dmg,将app文件放进去. 3. 为了实现拖拽到Application的效果,需要在这个文件夹里放一个 ...
- tp5简要
1.实例化模型 namespace app\web\controller; use think\Controller; use app\web\model\Member; use think\Load ...
- JVM(二)GC算法和垃圾收集器
前言 垃圾收集器(Garbage Collection)通常被成为GC,诞生于1960年MIT的Lisp语言.上一篇介绍了Java运行时区域的各个部分,其中程序计数器.虚拟机栈.本地方法栈3个区域随线 ...
- java学习笔记-JavaWeb篇一
JavaWEB篇一 1 Tomcat的安装和配置 2 JavaWeb开发的目录结构 3 使用Eclipse开发JavaWeb项目 4 第一个Servlet程序 5 Servlet 的配置及生命周期方法 ...
- Jquery中的height(),innerHeight(),outerHeight()的区别
前言 最近练习做弹窗,遇到height(),innerHeight(),outerHeight()的区别. 根据下面的盒模型来了解三者的区别. height():element的height; inn ...
- ios开发UI篇--UIButton
概述 UIButton 是执行自定义代码以响应用户交互的控件. UIButton 其实包含 UIImageView 和 UILabel 两个控件,UIButton 继承于 UIControl,所以有 ...
- ARM Linux驱动篇 学习温度传感器ds18b20的驱动编写过程
ARM Linux驱动篇 学习温度传感器ds18b20的驱动编写过程 原文地址:http://www.cnblogs.com/NickQ/p/9026545.html 一.开发板与ds18b20的入门 ...
- OSG环境变量设置
osg中需要设置一些环境变量设置,如 OSG_FILE_PATH:此变量设置模型数据的目录 OSG_SCREEN: 此变量设置显示模型是在单屏幕还是多屏幕,1为单屏幕 OSG_WINDOW: 此变量设 ...