更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群

ClickHouse 是业内被广泛使用的 OLAP 引擎。当集群规模过大时，ClickHouse 则面临使用局限性的问题。如何提升 ClickHouse 的可用性，成为困扰广大开发者的难题之一。

目前，字节跳动内部的 ClickHouse 节点总数超过 18000 个，管理总数据量超过 700PB，最大的集群规模在 2400 余个节点。字节跳动内部很多业务都建立在 ClickHouse 为基础的查询引擎上，因此在可用性提升上具备广泛经验。

在内部丰富经验的基础之上，火山引擎也将字节跳动可用性方面经验通过云原生数据仓库 ByteHouse 对外输出。ByteHouse 以开源 ClickHouse 为基础，经过字节跳动多年的优化和完善，提供了更丰富的功能和更强的性能，主要为用户带来极速的分析体验，解决了 ClickHouse 集群节点数增长过快，带来的多方面问题：Zookeeper 性能出现瓶颈，故障发生频率增加；故障恢复时间过长；运维复杂度提升。

为了进一步提升 ClickHouse 的可用性，ByteHouse 从降低 Zookeeper 压力和提升故障恢复能力两个方面进行升级。

首先，ByteHouse 采用先进的集群管理策略，降低 Zookeeper 在集群管理中的角色和压力。Zookeeper 在分布式系统中常常被用作协调和管理节点，但在大规模集群中可能会成为性能瓶颈。通过减少对 Zookeeper 的依赖，ByteHouse 将部分协调和管理功能下放到各个节点上，使得集群中的每个节点能够自主地进行协调和管理，从而降低了 Zookeeper 的压力。

其次，ByteHouse 提升了 ClickHouse 故障恢复能力。在分布式系统中，故障恢复是保障系统可用性的重要环节。通过完善的数据备份和恢复策略，ByteHouse 可以在节点发生故障时，快速恢复数据和系统状态。此外，ByteHouse 还通过节点状态实时检测和自动隔离策略，防止故障扩散到整个集群。

ByteHouse 故障恢复改造思路

以上优化策略不仅提高了集群的性能和稳定性，也使得 ByteHouse 成为了企业级用户在大数据处理和分析领域的重要选择。未来，火山引擎 ByteHouse 将继续致力于提供更优质的大数据处理和分析服务，帮助企业更好实现数字化转型。

点击跳转 云原生数据仓库ByteHouse 了解更多

火山引擎 ByteHouse：如何提升 18000 节点的 ClickHouse 可用性？的更多相关文章

  1. 高性能、快响应！火山引擎 ByteHouse 物化视图功能及入门介绍

    更多技术交流.求职机会,欢迎关注字节跳动数据平台微信公众号,回复[1]进入官方交流群 物化视图是指将视图的计算结果存储在数据库中的一种技术.当用户执行查询时,数据库会直接从已经预计算好的结果中获取数据 ...

  2. 火山引擎 DataLeap 的 Data Catalog 系统公有云实践

      Data Catalog 通过汇总技术和业务元数据,解决大数据生产者组织梳理数据.数据消费者找数和理解数的业务场景.本篇内容源自于火山引擎大数据研发治理套件 DataLeap 中的 Data Ca ...

  3. 火山引擎MARS-APM Plus x 飞书 ｜降低线上OOM，提高App性能稳定性

    通过使用火山引擎MARS-APM Plus的memory graph功能,飞书研发团队有效分析定位问题线上case多达30例,线上OOM率降低到了0.8‰,降幅达到60%.大幅提升了用户体验,为飞书的 ...

  4. 还原火山引擎 A/B 测试产品——DataTester 私有化部署实践经验

      作为一款面向ToB市场的产品--火山引擎A/B测试(DataTester)为了满足客户对数据安全.合规问题等需求,探索私有化部署是产品无法绕开的一条路.   在面向ToB客户私有化的实际落地中,火 ...

  5. 火山引擎 DataLeap：3 个关键步骤，复制字节跳动一站式数据治理经验

    更多技术交流.求职机会,欢迎关注字节跳动数据平台微信公众号,并进入官方交流群 DataLeap 是火山引擎数智平台 VeDI 旗下的大数据研发治理套件产品,帮助用户快速完成数据集成.开发.运维.治理. ...

  6. JuiceFS 在火山引擎边缘计算的应用实践

    火山引擎边缘云是以云计算基础技术和边缘异构算力结合网络为基础,构建在边缘大规模基础设施之上的云计算服务,形成以边缘位置的计算.网络.存储.安全.智能为核心能力的新一代分布式云计算解决方案. 01- 边 ...

  7. 火山引擎 DataLeap：揭秘字节跳动数据血缘架构演进之路

    更多技术交流.求职机会,欢迎关注字节跳动数据平台微信公众号,回复[1]进入官方交流群 DataLeap 是火山引擎数智平台 VeDI 旗下的大数据研发治理套件产品,帮助用户快速完成数据集成.开发.运维 ...

  8. 火山引擎 DataLeap：一家企业，数据体系要怎么搭建？

    更多技术交流.求职机会,欢迎关注字节跳动数据平台微信公众号,回复[1]进入官方交流群 导读:经过十多年的发展,数据治理在传统行业以及新兴互联网公司都已经产生落地实践.字节跳动也在探索一种分布式的数据治 ...

  9. 火山引擎 A/B 测试产品——DataTester 私有化架构分享

    作为一款面向 ToB 市场的产品--火山引擎A/B测试(DataTester)为了满足客户对数据安全.合规问题等需求,探索私有化部署是产品无法绕开的一条路. 在面向 ToB 客户私有化的实际落地中,火 ...

  10. 火山引擎DataLeap数据调度实例的 DAG 优化方案

    更多技术交流.求职机会,欢迎关注字节跳动数据平台微信公众号,并进入官方交流群 实例 DAG 介绍 DataLeap 是火山引擎自研的一站式大数据中台解决方案,集数据集成.开发.运维.治理.资产管理能力 ...

随机推荐

  1. 在Finalshell中一直弹出弹窗要求输入密码的解决方案

    在finalshell中即使输入正确了密码,仍然要求输入(密码错误), 对CentOS的防火墙也已经关闭,但是仍然提示 这个原因是因为自创的用户名在finalshell中不被认可,需要将用户名更改为r ...

  2. Radius+OpenLdap+USG防火墙认证

    1.1.安装OpenLdap # 在数据目录创建ldap文件存放ldap的配置文件 mkdir -p /data/ldap/{data,conf} docker run -p 389:389 -p 6 ...

  3. Mysql [Show global status] 命令 参数详解(转)

    Aborted_clients:由于客户端没有正确关闭连接导致客户端终止而中断的连接数. Aborted_connects:试图连接到MySQL服务器而失败的连接数. Binlog_cache_dis ...

  4. 「译文」Google SRE 二十年的经验教训

    ️URL: https://sre.google/resources/practices-and-processes/twenty-years-of-sre-lessons-learned/ ✍️Au ...

  5. 字节跳动AB实验经验分享：企业如何构建数据驱动的实验文化？

    更多技术交流.求职机会,欢迎关注字节跳动数据平台微信公众号,回复[1]进入官方交流群 近日,CCF TF 举办了第 123 期分享活动,本期主题为"用户体验工程". CCF TF ...

  6. java笔记——面向对象

    1.概述:面向对象是基于面向过程的编程思想 举例:把大象装进冰箱 2.开发:不断的创建对象,使用对象,指挥对象做事情 3.面向对象特征:封装 , 继承 , 多态 4.类和对象的关系: 类是一组相关的属 ...

  7. 0x00.常用名词、文件下载、反弹shell

    下载文章 方法一:下载谷歌插件fireshot,捕捉整个页面 方法二:使用js代码 f12进入控制台,粘贴如下代码 (function(){ $("#side").remove() ...

  8. C++ Qt开发：字符串QString容器

    在Qt框架中,QString 是一个强大而灵活的字符串容器,专为处理 Unicode 字符而设计.它提供了许多方便的方法来操作和处理字符串,使得在跨平台开发中能够轻松地进行文本操作.QString 是 ...

  9. 配置tabBar导航菜单与open跳转差异

    "tabBar": {        "color": "#333",        "selectedColor": ...

  10. Mybatis-Flex之基础搭建

    1.是什么? MyBatis-Flex 是一个优雅的 MyBatis 增强框架,它非常轻量.同时拥有极高的性能与灵活性.我们可以轻松的使用 Mybaits-Flex 链接任何数据库,其内置的Query ...