前言

最近公司用到Canal来做从MySQL到Tidb的数据同步，用到HA模式Canal，记录一下HA模式的工作原理。

Canal的架构模式

Canal是利用binlog日志来做数据同步，canal伪装成从节点从主节点dump binlog日志，所以canal分为server和client，server负责dump binlog日志，client负责处理binlog日志（比如入库）。

Canal客户端HA模式运行原理

Canal的HA模式是需要zk来保证，zk用来保存canal客户端的一些元数据，例如服务端节点信息（\otter\canal\cluster ）、运行的服务节点信息（\otter\canal\destinations\{自定义分区}\running）、客户端节点信息（\otter\canal\destinations\{自定义分区}\cluster）、客户端拦截器配置信息（\otter\canal\destinations\{自定义分区}\1001\filter）、客户端binlog同步节点信息（\otter\canal\destinations\{自定义分区}\1001\cursor）、运行的客户端信息（\otter\canal\destinations\{自定义分区}\1001\running）

HA模式Canal客户端启动时，首先链接zk，在zk上注册客户端节点（\otter\canal\destinations\{自定义分区}\1001\running）服务，当没有客户端注册时则注册成功，已有客户端注册时则当前客户端进入静默状态（线程挂起），然后监听前一个客户端在zk注册节点变化，当前一个客户端退出（在zk上的注册节点信息发生变化）则通知所有静默状态的服务端进行zk服务注册，当有一个客户端注册成功时其他客户端则再此进入静默状态并且进行zk注册节点监听。

当客户端再zk上成功注册服务时，其他客户端会再次进入静默状态，进入静默状态核心思想是使用JUC下的AQS，详细如下：

Canal学习笔记（客户端）的更多相关文章

  1. MongoDB学习笔记~客户端命令行的使用

    回到目录 当我们从MongoDB网站下载安装包之后,它会伴随有一系列的工具,服务器程序mongod是我们耳熟能详的了,客户端mongo和性能检测mongostat我们可能就没有用过了,今天主要是介绍一 ...

  2. Canal学习笔记（服务端）

    canal服务端 canal服务端有两种运行模式,一种单机模式,一种HA运行模式(zk保证) 单机模式:同步的binlog节点信息保存在本地(/conf/{自定义分区文件夹}/),meta.dat H ...

  3. redis学习笔记——客户端

    Redis服务器是典型的一对多服务器程序:一个服务器可以与多个客户端建立网络连接,每个客户端可以向服务器发送命令请求,而服务器则接收并处理客户端发送的命令请求,并向客户端返回命令回复. 对于每个与服务 ...

  4. SuperSocket 学习笔记-客户端

    客户端: 定义 private AsyncTcpSession client; 初始化 client = new AsyncTcpSession(); client.Connected += Clie ...

  5. Metasploit学习笔记——客户端渗透攻击

    1.浏览器渗透攻击实例——MS11-050安全漏洞 示例代码如下 msf > use windows/browser/ms11_050_mshtml_cobjectelement msf exp ...

  6. MongoDB学习笔记系列

    回到占占推荐博客索引 该来的总会来的,Ef,Redis,MVC甚至Sqlserver都有了自己的系列,MongoDB没有理由不去整理一下,这个系列都是平时在项目开发时总结出来的,希望可以为各位一些帮助 ...

  7. MongoDB学习笔记系列~目录

    MongoDB学习笔记~环境搭建 (2015-03-30 10:34) MongoDB学习笔记~MongoDBRepository仓储的实现 (2015-04-08 12:00) MongoDB学习笔 ...

  8. Dynamic CRM 2013学习笔记（十）客户端几种查询数据方式比较

    我们经常要在客户端进行数据查询,下面分别比较常用的几种查询方式:XMLHttpRequest, SDK.JQuery, SDK.Rest. XMLHttpRequest是最基本的调用方式,JQuery ...

  9. [Firefly引擎][学习笔记四][已完结]服务器端与客户端的通讯

    原地址:http://www.9miao.com/question-15-54981.html 传送门:学习笔记一学习笔记二学习笔记三 前言:学习笔记三是模块封装,这个在持续开发中会不断更新, 因为写 ...

随机推荐

  1. node重新加载模块

    delete require.cache[require.resolve('module name')]; var my_module = require('module name');

  2. CMD运行JAVA出现编码GBK的不可映射字符处理方法?

    方法一: (将notepad编辑器的编码方式改为ANSI后再进行程序代码的编译,将之前乱码的汉字删除重新输入正常的汉字) 1.notepad编辑器默认编码方式为UTF-8时,CMD里面执行javac ...

  3. MySql 游标定义时使用临时表

    参考:Re: Temp Table in Select of a Cursor 方法一: delimiter $$ create procedure test_temp() begin drop te ...

  4. 九、mybatis模糊查询2种方式

    1. 2. 3.

  5. Subplot 多合一显示

    1.均匀图中图 matplotlib 是可以组合许多的小图, 放在一张大图里面显示的. 使用到的方法叫作 subplot. 使用import导入matplotlib.pyplot模块, 并简写成plt ...

  6. tcp拥塞控制 tahoe reno new reno sack

    http://www.docin.com/p-812428366.html http://www.docin.com/p-812428366.html

  7. nginx集成环境下载

    https://visual-nmp.en.softonic.com/download

  8. 腾讯开源的 Paxos库 PhxPaxos 代码解读---Accept阶段(一)

    腾讯开源的 Paxos库 PhxPaxos 代码解读---Accept阶段(一) 在看Accept阶段代码之前, 我们再回想一下 Basic Paxos算法; 1.  Basic Paxos 算法是为 ...

  9. react native 学习笔记

    假设你的机器现在还没安装任何环境. 不同的操作系统.不同的目标平台,具体的步骤也会有所不同.如果你想同时开发android和ios也没问题,只需要先选一个平台开始,另一个平台的环境搭建只是稍有不同 本 ...

  10. js常用通用方法

    验证身份证详细方法 function isCardNo(pId) { var arrVerifyCode = [1, 0, "x", 9, 8, 7, 6, 5, 4, 3, 2] ...