Linux Centos7 环境搭建Docker部署Zookeeper分布式集群服务实战
Zookeeper完全分布式集群服务
准备好3台服务器:
- [x]A-> centos-helios:192.168.19.1
- [x]B-> centos-hestia:192.168.19.2
- [x]C-> centos-hebe:192.168.19.3
⚠️ [注意事项]：
1.一定要确定3台服务器之间可以相互通信
2.如果是采用的阿里云等服务器的话,一定要配置主机名与IP映射，否则会连接拒绝等问题
配置Zookeeper安装目录
在3台宿主机配置zookeeper安装目录：/docker/zookeeper
并且在文件夹创建 data 和logs 目录：mkdir -p /docker/zookeeper/data && mkdir -p /docker/zookeeper/logs
mkdir -p /docker/zookeeper/data
mkdir -p /docker/zookeeper/logs
- 授权文件目录：chmod -R 777 /docker/zookeeper/
安装和部署Zookeeper
拉取zookeeper镜像：docker pull zookeeper:3.5.6
[root@centos-helios ~]# docker pull zookeeper:3.5.6
3.5.6: Pulling from library/zookeeper
8ec398bc0356: Pull complete
8e866b095956: Pull complete
e18af1784b1f: Pull complete
9cec9f51936c: Pull complete
475dcbe0e2e9: Pull complete
222ebb7346b3: Pull complete
f0552f5b3f6c: Pull complete
cdfcdbc43b13: Pull complete
Digest: sha256:6b6b5f7fb6a47d2b311df5af1718af5a425a679dbb844d77913fa68d1a8bf0fd
Status: Downloaded newer image for zookeeper:3.5.6
docker.io/library/zookeeper:3.5.6
[root@centos-helios ~]#
⚠️ [注意事项]：
1.由于Zookeeper是一个常规的基础服务组件，我这直接拉取Docker hub镜像，有兴趣的可以自行构建镜像部署
2.这里只对centos-helios有举例，另外2台需要执行相同操作，以下不再赘述
临时安装Zookeeper服务：zookeeper-tmp-server
docker run -itd -p 2181:2181 --restart always --name=zookeeper-tmp-server --privileged=true \
-v /docker/develop/zookeeper/data:/data \
-v /docker/develop/zookeeper/datalog:/datalog \
-v /docker/develop/zookeeper/logs:/logs \
-e "ZOO_STANDALONE_ENABLED=true" \
-e "TZ=Asia/Shanghai" \
-e "ZOO_4LW_COMMANDS_WHITELIST=*" \
-e "ZOO_AUTOPURGE_SNAPRETAINCOUNT=5" \
-e "ZOO_AUTOPURGE_PURGEINTERVAL=24" \
-e "ZOO_MAX_CLIENT_CNXNS=64" \
-e "ZOO_TICK_TIME=2000" \
-e "ZOO_INIT_LIMIT=100" \
-e "ZOO_SYNC_LIMIT=5" \
zookeeper:3.5.6
复制zookeeper-tmp-server的conf到/docker/zookeeper：
1.查看容器列表：docker ps --format "table {{.ID}}\t{{.Names}}\t{{.Ports}}"
[root@centos-helios zookeeper]# docker ps --format "table {{.ID}}\t{{.Names}}\t{{.Ports}}"
CONTAINER ID NAMES PORTS
71ad055739b6 zookeeper-tmp-server 2888/tcp, 3888/tcp, 0.0.0.0:2181->2181/tcp, 8080/tcp
[root@centos-helios zookeeper]#
2.执行Docker cp 命令：docker cp Zookeeper容器ID:/conf /docker/zookeeper/
[root@centos-helios zookeeper]# docker cp 71ad055739b6:/conf /docker/zookeeper/
[root@centos-helios zookeeper]#
centos-helios：docker cp 71ad055739b6:/conf /docker/zookeeper/
centos-hebe：docker cp bf9df9966efb:/conf /docker/zookeeper/
centos-hestia：docker cp 4b4f8e813c80:/conf /docker/zookeeper/
编写zookeeper的zoo.cfg配置文件：
1.服务器集群配置：
- [x]centos-helios:192.168.19.1:2888:3888
- [x]centos-hestia:192.168.19.2:2888:3888
- [x]centos-hebe:192.168.19.3:2888:3888
2.对应的配置文件配置如下：
- [x]centos-helios:/docker/zookeeper/conf/zoo.cfg
tickTime=2000
initLimit=100
syncLimit=5
dataDir=/data
dataLogDir=/datalog
clientPort=2181
quorumListenOnAllIPs=true
preAllocSize=64M
globalOutstandingLimit=100000
snapCount=50000
maxClientCnxns=64
minSessionTimeout=4000
maxSessionTimeout=40000
4lw.commands.whitelist=*
admin.enableServer=true
server.1=192.168.19.1:2888:3888
server.2=192.168.19.2:2888:3888
server.3=192.168.19.3:2888:3888
tcpKeepAlive=true
ipReachableTimeout=0
cnxTimeout=3
electionAlg=3
autopurge.snapRetainCount=5
autopurge.purgeInterval=24
#忽略ACL验证
skipACL=yes
forceSync=yes
- [x]centos-hestia:/docker/zookeeper/conf/zoo.cfg
tickTime=2000
initLimit=100
syncLimit=5
dataDir=/data
dataLogDir=/datalog
clientPort=2181
quorumListenOnAllIPs=true
preAllocSize=64M
globalOutstandingLimit=100000
snapCount=50000
maxClientCnxns=64
minSessionTimeout=4000
maxSessionTimeout=40000
4lw.commands.whitelist=*
admin.enableServer=true
server.1=192.168.19.1:2888:3888
server.2=192.168.19.2:2888:3888
server.3=192.168.19.3:2888:3888
tcpKeepAlive=true
ipReachableTimeout=0
cnxTimeout=3
electionAlg=3
autopurge.snapRetainCount=5
autopurge.purgeInterval=24
#忽略ACL验证
skipACL=yes
forceSync=yes
- [x]centos-hebe:/docker/zookeeper/conf/zoo.cfg
tickTime=2000
initLimit=100
syncLimit=5
dataDir=/data
dataLogDir=/datalog
clientPort=2181
quorumListenOnAllIPs=true
preAllocSize=64M
globalOutstandingLimit=100000
snapCount=50000
maxClientCnxns=64
minSessionTimeout=4000
maxSessionTimeout=40000
4lw.commands.whitelist=*
admin.enableServer=true
server.1=192.168.19.1:2888:3888
server.2=192.168.19.2:2888:3888
server.3=192.168.19.3:2888:3888
tcpKeepAlive=true
ipReachableTimeout=0
cnxTimeout=3
electionAlg=3
autopurge.snapRetainCount=5
autopurge.purgeInterval=24
#忽略ACL验证
skipACL=yes
forceSync=yes
⚠️ [注意事项]：如果是采用阿里云等云服务器部署,一般设置为：
server.1=阿里云[外网IP OR 内网IP]:2888:3888
server.2=阿里云[外网IP OR 内网IP]:2888:3888
server.3=阿里云[外网IP OR 内网IP]:2888:3888
编写正式安装Dcoekr命令：
- [x]centos-helios：
docker run -itd -p 2181:2181 -p 2888:2888 -p 3888:3888 --restart always --name=zookeeper-server --hostname zookeeper-server --privileged=true \
-v /docker/zookeeper/conf/zoo.cfg:/conf/zoo.cfg \
-v /docker/zookeeper/data:/data \
-v /docker/zookeeper/datalog:/datalog \
-v /docker/zookeeper/logs:/logs \
-e "TZ=Asia/Shanghai" \
-e "ZOO_MY_ID=1" \
-e "JAVA_OPTS=-server -Xms512m -Xmx512m -Xmn256m -Duser.home=/opt -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m -XX:+AlwaysPreTouch -XX:-UseBiasedLocking" \
zookeeper:3.5.6
- [x]centos-hestia:
docker run -itd -p 2181:2181 -p 2888:2888 -p 3888:3888 --restart always --name=zookeeper-server --hostname zookeeper-server --privileged=true \
-v /docker/zookeeper/conf/zoo.cfg:/conf/zoo.cfg \
-v /docker/zookeeper/data:/data \
-v /docker/zookeeper/datalog:/datalog \
-v /docker/zookeeper/logs:/logs \
-e "TZ=Asia/Shanghai" \
-e "ZOO_MY_ID=2" \
-e "JAVA_OPTS=-server -Xms512m -Xmx512m -Xmn256m -Duser.home=/opt -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m -XX:+AlwaysPreTouch -XX:-UseBiasedLocking" \
zookeeper:3.5.6
- [x]centos-hebe：
docker run -itd -p 2181:2181 -p 2888:2888 -p 3888:3888 --restart always --name=zookeeper-server --hostname zookeeper-server --privileged=true \
-v /docker/zookeeper/conf/zoo.cfg:/conf/zoo.cfg \
-v /docker/zookeeper/data:/data \
-v /docker/zookeeper/datalog:/datalog \
-v /docker/zookeeper/logs:/logs \
-e "TZ=Asia/Shanghai" \
-e "ZOO_MY_ID=3" \
-e "JAVA_OPTS=-server -Xms512m -Xmx512m -Xmn256m -Duser.home=/opt -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m -XX:+AlwaysPreTouch -XX:-UseBiasedLocking" \
zookeeper:3.5.6
后续服务配置
1.开放端口[2181 2888 3888]
- [1].启动防火墙:systemctl start firewalld.service
- [2].查看防火墙状态：systemctl status firewalld.service
- [3].开放端口:firewall-cmd --zone=public --add-port=端口号/tcp --permanent
firewall-cmd --zone=public --add-port=2181/tcp --permanent
firewall-cmd --zone=public --add-port=2888/tcp --permanent
firewall-cmd --zone=public --add-port=3888/tcp --permanent
- [4].加载初始化防火墙生效：firewall-cmd --reload
- [5].停用防火墙：systemctl stop firewalld.service
⚠️ [注意事项]：
1.如果是Centos7以及以上系统，防火墙默认是firewall,对于Centos7版本请自行进行配置
2.依据实测，对于2888和3888等端口必须开放，否则在使用Zookeeper服务的时候会报连接[KeeperErrorCode = ConnectionLoss]错误
2.配置启动以及测试zookeeper服务:
- [x]启动容器Zookeeper服务顺序:A->B->C-重启A
- [x]进入容器输入：bin/zkServer.sh status
centos-helios:
root@zookeeper-server:/apache-zookeeper-3.5.6-bin# bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: follower
root@zookeeper-server:/apache-zookeeper-3.5.6-bin#
centos-hestia:
root@zookeeper-server:/apache-zookeeper-3.5.6-bin# bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: leader
root@zookeeper-server:/apache-zookeeper-3.5.6-bin#
centos-hebe:
root@zookeeper-server:/apache-zookeeper-3.5.6-bin# bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: follower
root@zookeeper-server:/apache-zookeeper-3.5.6-bin#
⚠️ [注意事项]：
1.Zookeeper的集群服务采用的是Leader-Follower线程模型，如上所述。
2.Zookeeper使用了ZAB(Zookeeper Atomic Broadcast)协议，保证了leader,follower的一致性，leader 负责数据的读写，而follower只负责数据的读，如果follower遇到写操作，会提交到leader。
版权声明：本文为博主原创文章，遵循相关版权协议，如若转载或者分享请附上原文出处链接和链接来源。
Linux Centos7 环境搭建Docker部署Zookeeper分布式集群服务实战的更多相关文章
- Linux Centos7 环境基于Docker部署Zookeeper服务搭建实战
配置Zookeeper安装目录 在宿主机配置zookeeper安装目录:/docker/develop/zookeeper 并且在文件夹创建 data 和logs 目录: mkdir -p /dock ...
- 在 Linux 多节点安装配置 Apache Zookeeper 分布式集群
规划: 三台物理服务器就形成了(法定人数).对于高可用性集群,您可以使用高于3的任何奇数.例如,如果设置5台服务器,则集群可以处理两个故障节点等. 物理服务器需要开启的端口 2888 , 3888 和 ...
- Ganglia环境搭建并监控Hadoop分布式集群
简介 Ganglia可以监控分布式集群中硬件资源的使用情况,例如CPU,内存,网络等资源.通过Ganglia可以监控Hadoop集群在运行过程中对集群资源的调度,作为简单地运维参考. 环境搭建流程 1 ...
- （转）CentOs7.3 搭建 RabbitMQ 3.6 Cluster 集群服务与使用
RabbitMQ是一个开源的AMQP实现,服务器端用Erlang语言编写,支持多种客户端,如:Python.Ruby..NET.Java.JMS.C.PHP.ActionScript.XMPP.STO ...
- Spark（二）CentOS7.5搭建Spark2.3.1分布式集群
一 下载安装包 1 官方下载 官方下载地址:http://spark.apache.org/downloads.html 2 安装前提 Java8 安装成功 zookeeper 安 ...
- Flink（二）CentOS7.5搭建Flink1.6.1分布式集群
一. Flink的下载 安装包下载地址:http://flink.apache.org/downloads.html ,选择对应Hadoop的Flink版本下载 [admin@node21 soft ...
- Windows10+VMware Workstation Pro+Ubuntu 16.04+Hadoop-2.6.5+IDEA环境搭建（单机&伪分布式&集群）
(注:下面出现的"czifan"为用户名,需替换成自己的用户名) 本篇博客是在实践该篇博客的过程中的一些补充和修改~ 0 - 安装VMware Workstation Pro 首先 ...
- CentOs7.3 搭建 Redis-4.0.1 Cluster 集群服务
环境 VMware版本号:12.0.0 CentOS版本:CentOS 7.3.1611 三台虚拟机(IP):192.168.252.101,192.168.102..102,192.168.252. ...
- docker 部署 zookeeper+kafka 集群
主机三台172.16.100.61172.16.100.62172.16.100.63Docker 版本 当前最新版 # 部署zk有2种方法 ## 注意 \后不要跟空格 一 . 端口映射 172.16 ...
随机推荐
- E. Remainder Problem 分块
两个操作 1对x位置的a[x]+y 2对所有i=y(mod x)求a[i]的和 我们肯定不能n^2 跑,稳超时,但是我们可以这样分块考虑. 为什么n^2不行?因为在x比较小的时候,这个求和操作次数太多 ...
- ubuntu18.04 挂载ntfs硬盘无法写入解决办法
win10和ubuntu18.04双系统,在ubuntu下通过/etc/fstab挂载ntfs硬盘无写入权限,尝试通过chmod修改写入权限和ntfs-config图形工具修改写入权限均失败.在ubu ...
- 解决TortoiseSVN中out of date问题的一个方法
http://blog.csdn.net/freefalcon/article/details/645058 从去年开始,公司的代码管理从CVS转向了subvsersion,后者确实是前者的一个飞跃, ...
- jq实现超级简单的隔行变色
文章地址:https://www.cnblogs.com/sandraryan/ <!DOCTYPE html> <html lang="en"> < ...
- Project Euler Problem 8-Largest product in a series
直接暴力 写完才想到,代码写矬了,扫一遍就出结果了,哪还用我写的这么麻烦 ss = '''73167176531330624919225119674426574742355349194934 9698 ...
- 【已解决】phpMyAdmin中导入mysql数据库文件时出错：您可能正在上传很大的文件，请参考文档来寻找解决办法
期间,用phpMyAdmin去导入90M左右的mysql数据库文件时出错: 您可能正在上传很大的文件,请参考文档来寻找解决方法. [解决过程] 1.很明显,是文件太大,无法导入.即上传文件大小有限制. ...
- [转]安卓加固之so文件加固
一.前言 最近在学习安卓加固方面的知识,看到了jiangwei212的博客,其中有对so文件加固的两篇文章通过节加密函数和通过hash段找到函数地址直接加密函数,感觉写的特别好,然后自己动手实践探索s ...
- form组件类 钩子函数验证
# 全局钩子 def clean(self): pwd = self.cleaned_data.get("password") re_pwd = self.cleaned_data ...
- [转载] 虚拟机3种网络模式（NAT, Host-only, Bridged）
实例讲解虚拟机3种网络模式(桥接.nat.Host-only) 转载自:http://www.cnblogs.com/ggjucheng/archive/2012/08/19/2646007.html ...
- 高级教程: 作出动态决策和 Bi-LSTM CRF 重点
动态 VS 静态深度学习工具集 Pytorch 是一个 动态 神经网络工具包. 另一个动态工具包的例子是 Dynet (我之所以提这个是因为使用 Pytorch 和 Dynet 是十分类似的. 如果你 ...