zookeeper的集群介绍、搭建、环境、安装
zookeeper是本身是一种分布式协调服务(英文意思动物园园长因为Hadoop就是一个动物园,storm、hadoop、kafkaka、hbaser都是基于zookeeper开发的)
原理:Zookeeper虽然在配置文件中并没有指定master和slave但是,zookeeper工作时,是有一个节点为leader,其他则为follower,Leader是通过内部的选举机制临时产生的。
一、zookeeper是什么(马士兵的说法,言简意赅!)
1、一致:所有用户通过客户端访问的数据全部一致
2、有头:每个zookeeper集群都有一个leader和几个follower(通过PAXOS的选举机制)
Leader 和 follower 只要集群中有半数以上节点存活,集群就能提供服务
3.数据树:树状的储存数据结构(存储类型分为暂时和持久)
数据Znode有两种类型:
短暂(ephemeral)(断开连接自己删除)
持久(persistent)(断开连接不删除)
二、zookeeper的功能
1、管理(存储,读取)用户程序提交的数据;
2、并为用户程序提供数据节点监听服务;
三、作用有哪些
1、集群的配置一致
2、对每台机器和数据进行监听
3.、分布式的负载平衡
4、分布式锁
四、集群的特点
半数机制:集群中半数以上机器存活,集群可用。
zookeeper适合装在奇数台机器上!
五、搭建zookeeper集群的步骤
前提条件JDK安装完毕
5.1上传及解压
解压:tar -zxvf zookeeper-3.4.5.tar.gz
重命名 : mv zookeeper-3.4.5 zookeeper
5.2修改环境变量
vim /etc/profile(修改文件)
#zookeeper环境配置(为了在各种目录都能运行zookeeper命令)
export ZOOKEEPER_HOME=/home/hadoop/zookeeper(你zookeeper安装路径)
export PATH=$PATH:$ZOOKEEPER_HOME/bin
wq:保存退出
source /etc/profile :重启配置文件
5.3修改zookeeper的配置文件
进入conf目录: cd zookeeper/conf
重命名:cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
dataDir=/home/hadoop/zookeeper/data(创建路径保存数据)
dataLogDir=/home/hadoop/zookeeper/log(创建数据保存日志)
server.1=slave1:2888:3888 (主机名, 心跳端口、数据端口)
server.2=slave2:2888:3888
server.3=slave3:2888:3888
wq:保存退出
创建刚才配置文件的目录
cd /home/hadoop/zookeeper/
mkdir -m 755 data
mkdir -m 755 log
5.4在data文件夹下新建myid文件,myid的文件内容为:
cd data
vi myid
1(对应子机的编号)
wq:退出
scp -r /home/hadoop/zookeeper root@slave2:/home/hadoop/
scp -r /home/hadoop/zookeeper root@slave3:/home/hadoop/
到slave2上:修改myid为:2
到slave3上:修改myid为:3
5.5启动测试
zkServer.sh start
jps(查看进程)
zkServer.sh status(查看集群状态,主从信息)
五、zookeeper客户端操作
运行 zkCli.sh –server <ip>进入命令行工具
1、查看当前 ZooKeeper 中所包含的内容
ls /
2、创建 :这个命令创建了一个新的 znode 节点“ zk ”以及与它内容:
create /zk "myData“
3、我们运行 get 命令来确认 znode 是否有内容:
[zk: 202.115.36.251:2181(CONNECTED) 3] get /zk
#监听这个节点的变化,当另外一个客户端改变/zk时,它会打出下面的
get /zk watch
4、下面我们通过 set 命令来对 zk 所关联的字符串进行设置:
[zk: 202.115.36.251:2181(CONNECTED) 4] set /zk "zsl“
5、znode 删除:只能删一个
[zk: 202.115.36.251:2181(CONNECTED) 5] delete /zk
6、删除所有子节点:rmr
[zk: 202.115.36.251:2181(CONNECTED) 5] rmr /zk
zookeeper的集群介绍、搭建、环境、安装的更多相关文章
- Zookeeper服务器集群的搭建与操作
ZooKeeper 作用:Zookeeper 可以用来保证数据在zk集群之间的数据的事务性一致(原子操作). 介绍:Zookeeper 是 Google 的 Chubby一个开源的实现,是 Hadoo ...
- zookeeper伪集群的搭建
由于公司服务器数量的限制,我们往往没有那么多的服务器用来搭建zookeeper的集群,所以产生了伪集群的搭建,也就是将多个zookeeper搭建在同一台机器上. 准备工作: 1,一台服务器,我们这里用 ...
- zookeeper以及集群的搭建
今天我来写一写zookeeper集群的搭建流程 1.zookeeper的搭建不难,难的是对他的理解以及良好的使用.单机版的zookeeper只需要解压后直接命令 启动即可 解压zookeeper,ta ...
- 3.0 zookeeper的集群介绍、搭建、环境、安装
zookeeper是本身是一种分布式协调服务(英文意思动物园园长因为Hadoop就是一个动物园,storm.hadoop.kafkaka.hbaser都是基于zookeeper开发的) 原理:Zook ...
- ZooKeeper伪集群的搭建(Windows)
首先下载 zookeeper 地址:https://www.apache.org/dyn/closer.cgi/zookeeper/ 1.下载完成解压后修改文件夹名字为zookeeper1,然后删除c ...
- oracle 集群RAC搭建--环境准备
一,环境介绍 目前我本身环境已经有DG,正在尝试重做搭建.如需完成请移步往期文章--搭建DG
- 关于Hadoop集群的搭建环境变量相关配置
在任何路径下输入HDFS中的命令都可以进行shell操作的配置: 要设置环境变量: (1) # vim /etc/profile在profile文件下面追加写入下面信息 export HADOOP_H ...
- zookeeper介绍及集群的搭建(利用虚拟机)
ZooKeeper ZooKeeper是一个分布式的,开放源码(apache)的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase.dubbox.kaf ...
- Zookeeper分布式集群搭建
实验条件:3台安装linux的机子,配置好Java环境. 步骤1:下载并分别解包到每台机子的/home/iHge2k目录下,附上下载地址:http://mirrors.cnnic.cn/apache/ ...
随机推荐
- jQuery杂项方法
前面的话 杂项方法其实也是工具类方法,但由于其不是定义在jQuery构造函数上的方法,所以不能称为工具方法.本文将详细介绍jQuery中的杂项方法 数据操作 [data()] 该方法用于在匹配元素上存 ...
- asp.net core 教程(四)-项目结构
Asp.Net Core-项目结构 Asp.Net Core-项目结构 案例 在这一章,我们将讨论 ASP.NET Core项目在文件系统上的组成方式以及不同的文件和目录都是如何协同工作的. 让我们打 ...
- Spring学习(11)---JSR-250标准注解之 @Resource、@PostConstruct、@PreDestroy
1)@Resource(JSR-250标准注解,推荐使用它来代替Spring专有的@Autowired注解) Spring 不但支持自己定义的@Autowired注解,还支持几个由JSR-250规范定 ...
- Java虚拟机14:Java对象大小、对象内存布局及锁状态变化
一个对象占多少字节? 关于对象的大小,对于C/C++来说,都是有sizeof函数可以直接获取的,但是Java似乎没有这样的方法.不过还好,在JDK1.5之后引入了Instrumentation类,这个 ...
- 【论文:麦克风阵列增强】Microphone Array Post-Filtering For Non-Stationary Noise Suppression
作者:桂. 时间:2017-06-08 08:01:41 链接:http://www.cnblogs.com/xingshansi/p/6957027.html 原文链接:http://pan.ba ...
- js获取网页请求类型是http还是https
代码如下,即可判断 var ishttps = 'https:' == document.location.protocol ? true : false; if(ishttps) { alert(& ...
- C#基础知识-XML介绍及基本操作(十)
在讲了一系列的基础文档之后,现在开始讲一些实例.对于一些数据不是很大的程序,或者只是一些配置文件,需要本地存储的,完全可以使用XML代替数据库,因为只是去操作单个文件会比操作数据库要简单很多,在程序中 ...
- 短信发送接口被恶意访问的网络攻击事件(三)定位恶意IP的日志分析脚本
前言 承接前文<短信发送接口被恶意访问的网络攻击事件(二)肉搏战-阻止恶意请求>,文中有讲到一个定位非法IP的shell脚本,现在就来公布一下吧,并没有什么技术难度,只是当时花了些时间去写 ...
- Sql行列转换参考
行列转换:SELECT max(case type when 0 then jine else 0 end) a,max(case type when 1 then jine else 0 end) ...
- 通过ant-jmeter读取jtl文件拆分数据并insert DB
前言:之前详解过通过jmeter生成的csv文件,解析csv存入DB,这个有弊端 第一:需独立创建一个job 第二:需按照一定规范输出 因此,放弃解析csv方式,直接解析自动化生成的原始jtl文件并集 ...