目录

异常现象：

1. clickhouse的异常日志

2. 追踪对应节点的zookeeper日志

使用clickhouse-keeper代替 zookeeper的步骤：

1： 准备 clickhouse-keeper的配置文件

1.1- 设置通信地址，以便对外通信

1.2-  在config.xml中的 zookeeper配置 clickhouse-keeper的地址，keeper的属性， 端口，存放地址等。

a. 检查端口是否被占用

b. 设置 clickhouse-keeper的地址，每个节点内容一致

c. 设置clickhouse-keeper的server_id 和clickhouse-server通信端口 9444

2：备份 clickhouse-server的配置文件和数据，以及zookeeper的元数据。(预防升级失败需要回滚)

a.  clickhouse的数据，在config.xml

b.  zookeeper的数据:  在zoo.cfg，数据目录。

3：升级clickhouse。( 包含了clickhouse-server，clickhouse-common, clickhouse-keeper和clickhouse-keeper-converter )

4： 迁移zk的元数据到 clickhouse-keeper

a- 停止所有的zk 节点。

b- 建议 启停zk的leader，以便强制 复制一份 一致性的快照。

c- 运行  clickhouse-keeper-converter ， 生成snapshot

e- 单独启动clickhouse-keeper

5- 重启 clickhouse

6- 验证是否clickhouse-keeper是否正常运行

7- 验证clickhouse是否正常运行

在重启clickhouse时可能遇到认证问题

背景：clickhouse分布式表使用zookeeper作为元数据的存储，客户端每次读写分布式表都会读写zookeeper。 zookeeper是个小型的日志文件系统，在大范围读写时会进入只读模式。

clickhouse官方为了解决这个，自己开发了clickhouse-keeper来代替。在21.8版本开始引入，21.12 featrue开发完毕，22.05不依赖系统库。

据官网自己说，目前22.5版的写性能和zookeeper相当，读的性能比zookeeper好。

异常现象：

1. clickhouse的异常日志

可以看到说socket和zookeeer连接不上 xxx.xxx.xxx.xxx:2181)



  1. 

    

    

    

    2022.04.01 17:11:01.452465 [ 428517 ] {} <Error> void Coordination::ZooKeeper::sendThread(): Code: 210, e.displayText() = DB::NetException: I/O error: 23: Can't create epoll queue, while writing to socket (20.20.20.34:2181), Stack trace (when copying this message, always include the lines below):
    

    2. 

  2. 

    

    

    

    1. DB::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int, bool) @ 0x8f9b87a in /usr/lib/debug/.build-id/b1/6d23354750e4d6ff9887c2b4f856f045d62da0.debug
    

    3. 

  3. 

    

    

    

    2. DB::WriteBufferFromPocoSocket::nextImpl() @ 0x100764a0 in /usr/lib/debug/.build-id/b1/6d23354750e4d6ff9887c2b4f856f045d62da0.debug
    

    4. 

  4.

2. 追踪对应节点的zookeeper日志

看到 zookeeper进入了只读模式(r-o mode)



  1. 

    

    

    

    2022-04-01 07:21:14,189 [myid:3] - INFO  [PurgeTask:FileTxnSnapLog@124] - zookeeper.snapshot.trust.empty : false
    

    2. 

  2. 

    

    

    

    2022-04-01 07:21:14,191 [myid:3] - INFO  [PurgeTask:DatadirCleanupManager$PurgeTask@145] - Purge task completed.
    

    3. 

  3. 

    

    

    

    2022-04-01 17:07:55,961 [myid:3] - INFO  [SessionTracker:ZooKeeperServer@628] - Expiring session 0x31056da7a8a0000, timeout of 30000ms exceeded
    

    4. 

  4. 

    

    

    

    2022-04-01 17:07:55,962 [myid:3] - INFO  [RequestThrottler:QuorumZooKeeperServer@163] - Submitting global closeSession request for session 0x31056da7a8a0000
    

    5. 

  5. 

    

    

    

    2022-04-01 17:10:23,523 [myid:3] - WARN  [NIOWorkerThread-75:ZooKeeperServer@1411] - Connection request from old client /20.20.20.46:62879; will be dropped if server is in r-o mode
    

    6. 

  6. 

    

    

    

    2022-04-01 17:10:23,534 [myid:3] - INFO  [CommitProcessor:3:LeaderSessionTracker@104] - Committing global session 0x31056da7a8a0001
    

    7. 

  7. 

    

    

    

    2022-04-01 17:11:01,453 [myid:3] - WARN  [NIOWorkerThread-20:NIOServerCnxn@371] - Unexpected exception
    

    8. 

  8. 

    

    

    

    EndOfStreamException: Unable to read additional data from client, it probably closed the socket: address = /20.20.20.46:62879, session = 0x31056da7a8a0001
    

    9. 

  9. 

    

    

    

       at org.apache.zookeeper.server.NIOServerCnxn.handleFailedRead(NIOServerCnxn.java:170)
    

    10. 

  10. 

    

    

    

       at org.apache.zookeeper.server.NIOServerCnxn.doIO(NIOServerCnxn.java:333)
    

    11. 

  11. 

    

    

    

       at org.apache.zookeeper.server.NIOServerCnxnFactory$IOWorkRequest.doWork(NIOServerCnxnFactory.java:508)
    

    12. 

  12. 

    

    

    

       at org.apache.zookeeper.server.WorkerService$ScheduledWorkRequest.run(WorkerService.java:154)
    

    13. 

  13. 

    

    

    

       at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    

    14. 

  14. 

    

    

    

       at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    

    15. 

  15. 

    

    

    

       at java.lang.Thread.run(Thread.java:748)

使用clickhouse-keeper代替 zookeeper的步骤：

1- 准备 clickhouse-keeper的配置文件 (config.xml)
2- 备份 clickhouse-server的配置文件和数据，以及zookeeper的元数据
3- 下载 clickhouse-keeper-converter (集成在clickhouse中了)

4- 迁移以前zookeeper元数据到clickhouse-keeper

a. 停止所有zk节点
    b. 找到zk leader节点
    c. 重启zk leader节点，并再次停止(这一步是为了让leader节点生成一份snapshot)
    d. 运行clickhouse-keeper-converter，生成keeper的snapshot文件
    e. 启动keeper, 使其加载上一步中的snapshot

5- 重启clickhouse-server

1： 准备 clickhouse-keeper的配置文件

keeper在clickhousenode上的配置    config.xml

1.1- 设置通信地址，以便对外通信

<listen_host>0.0.0.0</listen_host>

1.2-  在config.xml中的 zookeeper配置 clickhouse-keeper的地址，keeper的属性， 端口，存放地址等。

a. 检查端口是否被占用

假设keeper的端口是9181，与server通信接口为9444



  1. 

    

    

    

    netstat -anp | grep 9181 
    

    2. 

  2. 

    

    

    

    netstat -anp | grep 9444

b. 设置 clickhouse-keeper的地址，每个节点内容一致



  1. 

    

    

    

    <zookeeper>
    

    2. 

  2. 

    

    

    

            <node>
    

    3. 

  3. 

    

    

    

                <host>clickhouse-node01</host>
    

    4. 

  4. 

    

    

    

                <port>9181</port>
    

    5. 

  5. 

    

    

    

            </node>
    

    6. 

  6. 

    

    

    

            <node>
    

    7. 

  7. 

    

    

    

                <host>clickhouse-node02</host>
    

    8. 

  8. 

    

    

    

                <port>9181</port>
    

    9. 

  9. 

    

    

    

            </node>
    

    10. 

  10. 

    

    

    

            <node>
    

    11. 

  11. 

    

    

    

                <host>clickhouse-node03</host>
    

    12. 

  12. 

    

    

    

                <port>9181</port>
    

    13. 

  13. 

    

    

    

            </node>
    

    14. 

  14. 

    

    

    

        </zookeeper>

c. 设置clickhouse-keeper的server_id 和clickhouse-server通信端口 9444

每个节点的server_id要确保唯一，不能和其他节点重复 ， keeper_server中的server_id是要和配置raft协议集群时命名的一致。

例如：

在 clickhouse-node01上的配置， <server_id>1</server_id>

在clickhouse_node02上的配置，  <server_id>2</server_id>



  1. 

    

    

    

    <keeper_server>
    

    2. 

  2. 

    

    

    

        <tcp_port>9181</tcp_port>
    

    3. 

  3. 

    

    

    

        <server_id>1</server_id>
    

    4. 

  4. 

    

    

    

        <log_storage_path>/var/lib/clickhouse/coordination/log</log_storage_path>
    

    5. 

  5. 

    

    

    

        <snapshot_storage_path>/var/lib/clickhouse/coordination/snapshots</snapshot_storage_path>
    

    6. 

  6. 

    

    

    

     
    

    7. 

  7. 

    

    

    

        <coordination_settings>
    

    8. 

  8. 

    

    

    

            <operation_timeout_ms>10000</operation_timeout_ms>
    

    9. 

  9. 

    

    

    

            <session_timeout_ms>30000</session_timeout_ms>
    

    10. 

  10. 

    

    

    

            <raft_logs_level>warning</raft_logs_level>
    

    11. 

  11. 

    

    

    

        </coordination_settings>
    

    12. 

  12. 

    

    

    

     
    

    13. 

  13. 

    

    

    

        <raft_configuration>
    

    14. 

  14. 

    

    

    

            <server>
    

    15. 

  15. 

    

    

    

                <id>1</id>
    

    16. 

  16. 

    

    

    

                <hostname>clickhouse-node01</hostname>
    

    17. 

  17. 

    

    

    

                <port>9444</port>
    

    18. 

  18. 

    

    

    

            </server>
    

    19. 

  19. 

    

    

    

            <server>
    

    20. 

  20. 

    

    

    

                <id>2</id>
    

    21. 

  21. 

    

    

    

                <hostname>clickhouse-node02</hostname>
    

    22. 

  22. 

    

    

    

                <port>9444</port>
    

    23. 

  23. 

    

    

    

            </server>
    

    24. 

  24. 

    

    

    

            <server>
    

    25. 

  25. 

    

    

    

                <id>3</id>
    

    26. 

  26. 

    

    

    

                <hostname>clickhouse-node03</hostname>
    

    27. 

  27. 

    

    

    

                <port>9444</port>
    

    28. 

  28. 

    

    

    

            </server>
    

    29. 

  29. 

    

    

    

        </raft_configuration>
    

    30. 

  30. 

    

    

    

    </keeper_server>

2：备份 clickhouse-server的配置文件和数据，以及zookeeper的元数据。(预防升级失败需要回滚)

a.  clickhouse的数据，在config.xml

<path>/data/1/clickhouse</path>

b.  zookeeper的数据:  在zoo.cfg，数据目录。

dataDir=/data/1/zookeeper/data    (存储snap数据)
     dataLogDir=/data/1/zookeeper/logs   (存储 transation命令)

3：升级clickhouse。( 包含了clickhouse-server，clickhouse-common, clickhouse-keeper和clickhouse-keeper-converter )

以先卸载，再安装的升级方法为例



  1. 

    

    

    

    ## 卸载
    

    2. 

  2. 

    

    

    

    yum remove -y clickhouse-client.noarch clickhouse-common-static.x86_64 clickhouse-common-static-dbg.x86_64 clickhouse-server.noarch
    

    3. 

  3. 

    

    

    

     
    

    4. 

  4. 

    

    

    

    ## 下载安装
    

    5. 

  5. 

    

    

    

    yum install -y clickhouse-server-22.8.4.7-1.x86_64 clickhouse-client-22.8.4.7-1.x86_64 clickhouse-common-static-22.8.4.7-1.x86_64  clickhouse-common-static-dbg-22.8.4.7-1.x86_64

4： 迁移zk的元数据到 clickhouse-keeper

a- 停止所有的zk 节点。

在所有的zk节点上 执行

 /usr/local/zookeeper/bin/zkServer.sh stop

b- 建议 启停zk的leader，以便强制 复制一份 一致性的快照。

查找leader节点， 在所有的节点上执行

/usr/local/zookeeper/bin/zkServer.sh stop


      在leader节点上 启停zookeeper



  1. 

    

    

    

    /usr/local/zookeeper/bin/zkServer.sh start
    

    2. 

  2. 

    

    

    

    /usr/local/zookeeper/bin/zkServer.sh stop

c- 运行  clickhouse-keeper-converter ， 生成snapshot

clickhouse-keeper-converter --zookeeper-logs-dir /data/1/zookeeper/logs/version-2 --zookeeper-snapshots-dir /data/1/zookeeper/data/version-2 --output-dir /var/lib/clickhouse/coordination/snapshots

e- 单独启动clickhouse-keeper

如果server和keeper是安装在同一个节点，这步可以省略



  1. 

    

    

    

    sudo -su clickhouse
    

    2. 

  2. 

    

    

    

    clickhouse-keeper --config  /etc/clickhouse-server/config.xml

5- 重启 clickhouse



  1. 

    

    

    

    /usr/bin/clickhouse-server stop
    

    2. 

  2. 

    

    

    

    /usr/bin/clickhouse-server start --config=/etc/clickhouse-server/config.xml

6- 验证是否clickhouse-keeper是否正常运行

 echo ruok | nc localhost 9181; echo

期望看到：imok

7- 验证clickhouse是否正常运行

连接客户端，创建一张分布式表，查看数据是否能正常操作分布式表(CRUD)。

 select * from system.clusters;

在重启clickhouse时可能遇到认证问题

1- 异常log

<Error> CertificateReloader: Cannot obtain modification time for certificate file /etc/clickhouse-server/server.crt, skipping update. errno: 2, strerror: No such file or directory

解决方法：在所有的clickhouse-server节点上执行

openssl req -subj "/CN=localhost" -new -newkey rsa:2048 -days 365 -nodes -x509 -keyout /etc/clickhouse-server/server.key -out /etc/clickhouse-server/server.crt

2- 异常log

Error opening Diffie-Hellman parameters file /etc/clickhouse-server/dhparam.pem

解决方法：  在所有的clickhouse-server节点上执行

openssl dhparam -out /etc/clickhouse-server/dhparam.pem 4096

clickhouse既然已经支持多zk集群，是否可以让ck同时访问zk集群和keeper集群？

答： 不可以，官网明确说了

参考文档：

ClickHouse Keeper | ClickHouse Docs
Configuring ClickHouse Keeper (clickhouse-keeper) | ClickHouse Docs

文章知识点与官方知识档案匹配，可进一步学习相关知识
云原生入门技能树首页概览14382 人正在系统学习中

[转帖]clickhouse使用clickhouse-keeper代替zookeeper的更多相关文章

  1. ClickHouse(07)ClickHouse数据库引擎解析

    目录 Atomic 建表语句 特性 Table UUID RENAME TABLES DROP/DETACH TABLES EXCHANGE TABLES ReplicatedMergeTree in ...

  2. ClickHouse(02)ClickHouse架构设计介绍概述与ClickHouse数据分片设计

    ClickHouse核心架构设计是怎么样的?ClickHouse核心架构模块分为两个部分:ClickHouse执行过程架构和ClickHouse数据存储架构,下面分别详细介绍. ClickHouse执 ...

  3. ClickHouse(03)ClickHouse怎么安装和部署

    本文会介绍如何安装和部署ClickHouse,官方推荐的几种安装模式,以及安装之后如何启动,ClickHouse集群如何配置等. 简单来说,ClickHouse的搭建流程如下: 环境检查,环境依赖安装 ...

  4. ClickHouse(05)ClickHouse数据类型详解

    ClickHouse属于分析型数据库,ClickHouse提供了许多数据类型,它们可以划分为基础类型.复合类型和特殊类型.其中基础类型使ClickHouse具备了描述数据的基本能力,而另外两种类型则使 ...

  5. ClickHouse(10)ClickHouse合并树MergeTree家族表引擎之ReplacingMergeTree详细解析

    目录 建表语法 数据处理策略 资料分享 参考文章 MergeTree拥有主键,但是它的主键却没有唯一键的约束.这意味着即便多行数据的主键相同,它们还是能够被正常写入.在某些使用场合,用户并不希望数据表 ...

  6. ClickHouse(11)ClickHouse合并树MergeTree家族表引擎之SummingMergeTree详细解析

    目录 建表语法 数据处理 汇总的通用规则 AggregateFunction 列中的汇总 嵌套结构数据的处理 资料分享 参考文章 SummingMergeTree引擎继承自MergeTree.区别在于 ...

  7. ClickHouse(12)ClickHouse合并树MergeTree家族表引擎之AggregatingMergeTree详细解析

    目录 建表语法 查询和插入数据 数据处理逻辑 ClickHouse相关资料分享 AggregatingMergeTree引擎继承自 MergeTree,并改变了数据片段的合并逻辑.ClickHouse ...

  8. ClickHouse(13)ClickHouse合并树MergeTree家族表引擎之CollapsingMergeTree详细解析

    目录 建表 折叠 数据 算法 资料分享 参考文章 该引擎继承于MergeTree,并在数据块合并算法中添加了折叠行的逻辑.CollapsingMergeTree会异步的删除(折叠)这些除了特定列Sig ...

  9. Sentry 后端云原生中间件实践 ClickHouse PaaS ，为 Snuba 事件分析引擎提供动力

    目录(脑图) ClickHouse PaaS 云原生多租户平台(Altinity.Cloud) 官网:https://altinity.cloud PaaS 架构概览 设计一个拥有云原生编排能力.支持 ...

  10. 使用容器编排工具docker swarm安装clickhouse多机集群

    1.首先需要安装docker最新版,docker 目前自带swarm容器编排工具 2.选中一台机器作为master,执行命令sudo docker  swarm init [options] 3,再需 ...

随机推荐

  1. servlet怎么实现第一个程序和实现下载文件

    简单介绍一下servlet是什么:1:Servlet是sun公司提供的一门用于开发动态web资源的技术 2:我们若想用发一个动态web资源,需要完成以下2个步骤: 第一步:1.编写一个Java类,实现 ...

  2. 9 个让你的 Python 代码更快的小技巧

    哈喽大家好,我是咸鱼 我们经常听到 "Python 太慢了","Python 性能不行"这样的观点.但是,只要掌握一些编程技巧,就能大幅提升 Python 的运 ...

  3. libGDX游戏开发之Box2D（十四）

    libGDX游戏开发之Box2D(十四) libGDX系列,游戏开发有unity3D巴拉巴拉的,为啥还用java开发?因为我是Java程序员emm-国内用libgdx比较少,多数情况需要去官网和goo ...

  4. Unreal学习笔记1-打印输出

    1. 概述 相比各种打断点调试的办法,还是更习惯使用打印输出来进行调试. 2. 详论 2.1. 代码 这里写了三个函数:分别是输出到屏幕,输出到警告日志,输出错误日志. Output.h: #prag ...

  5. 玩转云上数据湖，解析Serverless 技术落地

    导读: 本文主要介绍Serverless计算相关技术与其在华为云数据湖探索服务(后文简称DLI)中的技术落地.Serverless是DLI将计算能力服务化和产品化关键技术,与传统IAAS和PAAS技术 ...

  6. 性能达1.5+倍！昇腾AI助力分子动力学模拟研究

    摘要:在异构计算架构CANN的助力下,AI预测性能达到现有产品的1.5+倍,可预测规模较传统方法提升10000+倍,为光伏材料.新能源电池.半导体材料研究带来巨大的商业应用价值. 本文分享自华为云社区 ...

  7. 华为云AI论文精读会2021第一期：高效语义分割模型Fast-SCNN分享

    2020年举办的华为云AI经典论文复现活动,不仅受到了参赛者们一致好评,也产出了许多优质的算法成果.这些论文复现的算法描述.源代码以及算法使用指导文档均已发布到了AI Gallery.为了让开发者更好 ...

  8. 讲透学烂二叉树(五)：分支平衡—AVL树与红黑树伸展树自平衡

    简叙二叉树 二叉树的最大优点的就是查找效率高,在二叉排序树中查找一个结点的平均时间复杂度是O(log₂N): 在<讲透学烂二叉树(二):树与二叉/搜索/平衡等树的概念与特征>提到 二叉排序 ...

  9. Docker cp 将宿主机上的文件复制到容器中

    [root@localhost ~]# docker cp /opt/web/docker_cp.txt tomcat9093:/usr/local/apache-tomcat-9.0.31/ [ro ...

  10. 敏捷编辑器Sublime text 4中文配置Python3开发运行代码环境

    敏捷编辑器Sublime text 4中文配置Python3开发运行代码环境 首先来到Win11环境下,进入Sublime text 4官网的下载页面:https://www.sublimetext. ...