zookeeper相关知识与集群搭建

Zookeeper

Zookeeper相关概念

Zookeeper概述

Zookeeper是一个分布式协调服务的开源框架，主要用来解决分布式集群中应用系统的一致性问题。
Zookeeper本质上是一个分布式的小文件存储系统，主要的功能有统一命名服务、分布式配置管理、分布式消息队列、分布式锁、分布式协调等。

Zookeeper特性

1. 全局数据一致
2. 可靠性
3. 顺序性
4. 数据更新原子性
5. 实时性

Zookeeper集群角色

• Leader:Zookeeper 集群工作的核心
  事务请求（写操作）的唯一调度和处理者，保证集群事务处理的顺序性；集群内部各个服务器的调度者。
  对于 create，setData，delete 等有写操作的请求，则需要统一转发给leader 处理，leader 需要决定编号、执行操作，这个过程称为一个事务。
• Follower:跟随者
  处理客户端非事务（读操作）请求，转发事务请求给 Leader；参与集群 Leader 选举投票。
• Observer:针对访问量比较大的 zookeeper 集群，还可新增观察者角色
  不会参与任何形式的投票只提供非事务服务，通常用于在不影响集群事务处理能力的前提下提升集群的非事务处理能力。

ZooKeeper数据模型

图中的每个节点称为一个 Znode。 Znode 兼具文件和目录两种特点；具有原子性操作；存储数据大小有限制，通常以 KB 为大小单位；通过路径引用，路径必须是绝对的，由斜杠字符来开头。

• 每个 Znode 由 3 部分组成:

1. stat：此为状态信息, 描述该 Znode 的版本, 权限等信息
2. data：与该 Znode 关联的数据
3. children：该 Znode 下的子节点

• Znode 有两种，临时节点：会话结束，临时节点将被自动删除。临时节点不允许拥有子节点和永久节点
• 存在四种类型的 Znode 节点

1. PERSISTENT：永久节点
2. EPHEMERAL：临时节点
3. PERSISTENT_SEQUENTIAL：永久节点、序列化
4. EPHEMERAL_SEQUENTIAL：临时节点、序列化

Zookeeper Watcher

客户端向服务端注册Watcher、服务端事件发生触发 Watcher、客户端回调 Watcher 得到触发事件情况

• Watch机制特点

1. 一次性触发
2. 事件封装：WatchedEvent（通知状态（keeperState），事件类型（EventType）和节点路径（path））
3. event 异步发送
4. 先注册再触发

ZooKeeper 选举机制

1. 全新集群选举
   投票数正好大于半数时，服务器 ID最大的服务器为leader
2. 非全新集群选举
   逻辑时钟小的选举结果被忽略，重新投票；统一逻辑时钟后，数据 id 大的胜出；数据 id 相同的情况下，服务器 id 大的胜出

Zookeeper集群搭建

JDK 环境安装

#卸载openjdk
rpm -qa | grep java
rpm -e --nodeps  上一步查出来的软件
#上传 jdk 安装包
jdk-8u65-linux-x64.tar.gz
#解压安装包
tar zxvf jdk-8u65-linux-x64.tar.gz -C /root/apps
#配置环境变量
vim /etc/profile
export JAVA_HOME=/root/apps/jdk1.8.0_65
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
#刷新配置
source /etc/profile

Zookeeper集群搭建

#检查集群时间,下方窗口同时间发送
date
#同步时间
yum install -y ntp
ntpdate ntp6.aliyun.com
#关闭防火墙
service iptables stop
#注: 永久关闭防火墙[推荐使用]
chkconfig iptables off
映射 cat /etc/hosts
IP地址 主机名

##下载安装包、解压
tar -zxvf zookeeper-3.4.5.tar.gz
mv zookeeper-3.4.5 zookeeper
改一个名字
##修改环境变量（注意：3台zookeeper都需要修改）
#注 ： 1.写环境变量的时候最后不能带有 / 一定不能！！2. 一定要ssh 自己能通过
vim /etc/profile
export ZOOKEEPER_HOME=/root/apps/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin
source /etc/profile
##修改Zookeeper配置文件
cd /root/apps/zookeeper/conf
cp zoo_sample.cfg zoo.cfg
#创建数据文件夹
mkdir -p /export/data/zkdata
vim zoo.cfg
添加内容：
//修改路径.改成自己的
dataDir=/export/data/zkdata
## (心跳端口、选举端口)
server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888
注: 最好这行配置后面不要加别的注释以及不要断开,防止启动不起来
cd /export/data/zkdata
#注意这是刚才创建的data路径文件夹
在data文件夹下新建myid文件，myid的文件内容为(设置节点的id)：
echo 1 > myid
##分发安装包到其他机器(这里是要把jdk 也要传过去,)
 scp -r /root/apps/zookeeper root@node2:/root/apps/    
 注：这里zookeeper 后面有没 / 把文件夹也传过去
##修改其他机器的配置文件[记得创建数据文件夹]
修改myid文件
到node2上：修改myid为：2
到node3上：修改myid为：3

#设置三个机器的本机免密登录（三台机器配置一样）：
ssh-keygen -t rsa   ---一直回车即可
cd /root/.ssh/    ---生成了公钥和私钥
cat id_rsa.pub >> authorized_keys   ---将公钥追加到授权文件中
more authorized_keys   ---可以查看到里面追加的公钥
ssh node1
#配置两两之间的免密登录：
#将node1中的公钥复制到node2中
ssh-copy-id -i node2
#将node3中的公钥复制到node2中
ssh-copy-id -i node2
#把node2中的授权文件复制给node1和node3
scp /root/.ssh/authorized_keys node1:/root/.ssh/
scp /root/.ssh/authorized_keys node3:/root/.ssh/

一键启动:
#!/bin/bash
for host in node1 node2 node3
do
{
echo $host start
ssh $host "source /etc/profile;/root/apps/zookeeper/bin/zkServer.sh start"
echo "$host zk is running"
}
done
##查看集群状态
jps（查看进程）
zkServer.sh status（查看集群状态，主从信息）
如果启动不成功，可以观察zookeeper.out日志，查看错误信息进行排查
一键关闭:
#!/bin/bash
for host in node1 node2 node3
do
{
        echo "$host zk is stopping"
        ssh $host "/root/apps/zookeeper/bin/zkServer.sh stop"
}
done