设置ZooKeeper服务器地址列表源码解析及扩展

ZooKeeper zooKeeper = new ZooKeeper("192.168.109.130:2181",SESSION_TIMEOUT,new ZooKeeperFirstBlood());

在创建zk连接的时候,必须要获取到zk服务器集群的地址,最简单的方式是在构造函数中传入ip:port,ip2:port2,...,ipn:portn的形式,优势是简单,劣势也很明显,扩展性不强,一旦zk集群发生变动,整个就gg了。

本文主要先分析zk是如何去解析服务器地址,然后会给去使用动态获取zk服务器集群的方式。

zk最简单的解析

zk在构造函数对传入的connectString进行解析构造了 ConnectStringParser connectStringParser = new ConnectStringParser(connectString); 对象,ConnectStringParser是一个服务器地址列表解析器,主要作用是解析根目录和获取zk server地址

  1. 定义根目录

    相当于Linux的chroot命令,如果客户端设置了这个属性,那么所有的操作都会被限制在该命名空间下。具体使用方式:

    new Zookeeper("192.168.0.1:2181,192.168.0.2:2181/zktest/wpr")

  2. 解析zk地址

      String hostsList[] = connectString.split(",");
    for (String host : hostsList) {
    int port = DEFAULT_PORT;
    int pidx = host.lastIndexOf(':');
    if (pidx >= 0) {
    // otherwise : is at the end of the string, ignore
    if (pidx < host.length() - 1) {
    port = Integer.parseInt(host.substring(pidx + 1));
    }
    host = host.substring(0, pidx);
    }
    serverAddresses.add(InetSocketAddress.createUnresolved(host, port));
  3. 生成地址列表管理器HostProvider

    在ConnectStringParser解析器中将字符串封装为List对象,经过处理后地址列表会被进一步封装到StaticHostPorvider类中。

   /**
* The next host to try to connect to.
*
* For a spinDelay of 0 there should be no wait.
*
* 用于返回一个InetSocketAddress地址,这个方法的调用必须返回一个InetSocketAddress,不能为null和报错
* @param spinDelay
* Milliseconds to wait if all hosts have been tried once.
*/
public InetSocketAddress next(long spinDelay);
/**
* Notify the HostProvider of a successful connection.
*
* The HostProvider may use this notification to reset it's inner state.
*/
public void onConnected();

环形解析很多书已经解释过了,不是本文的重点

问题:

  1. zk服务器一旦迁移或者个别机器变更,会导致大批客户端应用变更。
  2. 部分情况下,为了增进系统的稳定性和容灾特性,需要配置一些特殊的规则,原来的环形解析肯定是不满足需求的

针对上面,主流的解决方案:地址列表管理器能够定时从DNS或者一个配置管理中心上解析出Zk服务器值列表,如果这个列表变更了,可以同时更新到serverAddress集合,这样在下次获取服务器地址的时候(调用next),可以获取到最新的服务器地址。

整体结构:

核心代码

本次主要是从配置中心去获取zk服务器的地址,在创建ZooKeeper对象的时候,仅仅使用一个HTTP地址,建立一个HTTP的长连接,去这个服务器上获取zk地址列表,定时去获取更新地址

public class DynamicHTTPHostProvider implements HostProvider {
/**
* zk服务器列表
*/
private final List<InetSocketAddress> domainAddresses = new ArrayList(5); public DynamicHTTPHostProvider(String domainURL) {
ADDRESS_SERVER_URL = domainURL;
start();
} public synchronized void start(){
//这个其实可以重新写到一个类里面
if(isStart){
log.warn("DynamicHTTPHostProvider already run");
return ;
}
GetServerListTask getServersTask = new GetServerListTask(ADDRESS_SERVER_URL);
for (int i = 0; i < 3 && domainAddresses.isEmpty(); ++i) {
getServersTask.run();
try {
Thread.sleep(100L);
} catch (Exception e) {
}
}
if (domainAddresses.isEmpty()) {
log.error("DynamicHTTPHostProvider-0001|cannnot get zookeeper address");
throw new RuntimeException("fail to get zk-server serverlist! env:" + ADDRESS_SERVER_URL);
}
TimerService.scheduleWithFixedDelay(getServersTask, 0L, 30L, TimeUnit.SECONDS);
isStart = true;
}

在getServerListTask的线程中,去获取并解析地址

class GetServerListTask implements Runnable {
final String url; GetServerListTask(String url) {
this.url = url;
}
public void run() {
//获取服务器地址
List<String> result = getZkServerList();
updateIfChanged(result);
} private synchronized void updateIfChanged(List<String> result) {
//更新domainAddresses
}

备注

详细代码可以查看 https://github.com/wpr7280/zktest

设置ZooKeeper服务器地址列表源码解析及扩展的更多相关文章

  1. Android恢复出厂设置流程分析【Android源码解析十】

    最近看恢复出厂的一个问题,以前也查过这方面的流程,所以这里整理一些AP+framework层的流程: 在setting-->备份与重置--->恢复出厂设置--->重置手机---> ...

  2. dubbo源码解析五 --- 集群容错架构设计与原理分析

    欢迎来我的 Star Followers 后期后继续更新Dubbo别的文章 Dubbo 源码分析系列之一环境搭建 博客园 Dubbo 入门之二 --- 项目结构解析 博客园 Dubbo 源码分析系列之 ...

  3. FutureTask 源码解析

    FutureTask 源码解析 版权声明:本文为本作者原创文章,转载请注明出处.感谢 码梦为生| 刘锟洋 的投稿 站在使用者的角度,future是一个经常在多线程环境下使用的Runnable,使用它的 ...

  4. EventBus源码解析 源码阅读记录

    EventBus源码阅读记录 repo地址: greenrobot/EventBus EventBus的构造 双重加锁的单例. static volatile EventBus defaultInst ...

  5. Spring-cloud &amp; Netflix 源码解析:Eureka 服务注册发现接口 ****

    http://www.idouba.net/spring-cloud-source-eureka-client-api/?utm_source=tuicool&utm_medium=refer ...

  6. zookeeper集群搭建及Leader选举算法源码解析

    第一章.zookeeper概述 一.zookeeper 简介 zookeeper 是一个开源的分布式应用程序协调服务器,是 Hadoop 的重要组件. zooKeeper 是一个分布式的,开放源码的分 ...

  7. .Net Core 中间件之主机地址过滤(HostFiltering)源码解析

    一.介绍 主机地址过滤中间件相当于一个白名单,标记哪些主机地址能访问接口. 二.使用 新建WebAPI项目,修改Startup中的代码段如下所示.下面表示允许主机名为“localhost”的主机访问( ...

  8. dubbo源码解析-zookeeper创建节点

    前言 在之前dubbo源码解析-本地暴露中的前言部分提到了两道高频的面试题,其中一道dubbo中zookeeper做注册中心,如果注册中心集群都挂掉,那发布者和订阅者还能通信吗?在上周的dubbo源码 ...

  9. JDK源码及其他框架源码解析随笔地址导航

    置顶一篇文章,主要是整理一下写过的JDK中各个类的源码及其他框架源码解析的文章,方便自己随时阅读也方便网友朋友们阅读与指正 基础篇 从为什么String=String谈到StringBuilder和S ...

随机推荐

  1. 数据结构看书笔记(二)--算法(Algorithm)简介

    算法:是解决问题求解步骤的描述,在计算机中表现为指令的有限序列,并且每条指令表示一个或多个操作. 算法的特性:算法具有五个特性:输入.输出.有穷性.确定性.可行性 输入输出:算法具有零个或多个输入:至 ...

  2. linux学习之一些琐碎知识点

    一.python 问:django中project和app之间到底有什么不同? 答:他们的区别就是一个是配置,另一个是代码. 一个project包含很多个django app以及对它们的配置.技术上, ...

  3. Jquery实现简单到计时功能(setTimeout,setInterval)

    要实现一个标签或者按钮进行5秒到计时,非常简单,直接上代码: 倒计时:<span id="timeSpan1" style="color:red;font-size ...

  4. 使用 tox flake8 pytest 规范 python 项目

    使用 tox flake8 pytest 规范 python 项目 python 中有些很好的工作来规范整个项目的开发,而其中使用较多的就是使用 tox . flake8 . pytest . tox ...

  5. zip格式jdk在Linux环境下的安装过程

    1下载jdk [root@localhost opt]# cd soft_bak/[root@localhost soft_bak]# lsjdk1.7.0_25.zip postgresql-9.4 ...

  6. file类型允许的文件格式设置问题,“选择文件”打开缓慢

    1,file类型的input对于打开的选择框的属性是由以下两个属性控制的: ①multiple="multiple" :一次可以选择多个文件 ②accept="image ...

  7. (hdu step 8.1.1)ACboy needs your help again!(STL中栈和队列的基本使用)

    题目: ACboy needs your help again! Time Limit: 1000/1000 MS (Java/Others) Memory Limit: 32768/32768 K ...

  8. java多线程并发编程

    Executor框架 Executor框架是指java 5中引入的一系列并发库中与executor相关的一些功能类,其中包括线程池,Executor,Executors,ExecutorService ...

  9. Linux下crontab命令添加Kettle作业定时任务

    1. 确保作业 $KETTLE_HOME/kitchen.sh -file=/data1/testdata/testkjb.kjb 或转换 $KETTLE_HOME/pan.sh -file=/dat ...

  10. 三菱Ethernet工业以太网

    1.什么是Ethernet? 1)网络组成信息网和控制网 2)IP地址的概念 3)端口号的概念 4)通信方式,通信协议 5)开放关闭处理 6)要点总结 2.Ethernet模块 1)CUP能够安装的E ...