更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群
 
近日，大数据研发治理套件DataLeap数据集成更新CDC分库分表能力，可做到将多个实例的多个数据库的多个分表同步到目标端的一个表中，先离线同步，然后实时同步。适用于分库分表场景。同时，支持将 MySQL 同步到EMR-Doris、EMR-Starrocks、LAS，助力将最新的数据以最快且最低的带宽成本同步到目标库，辅助业务数据分析准确、提效
 
CDC(Change Data Capture)是变更数据获取的简称。可以基于增量日志，以极低的侵入性来完成增量数据捕获的工作。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，可以直接写入到消息中间件中以供其他服务进行订阅及消费，也可以直接对接其他数据源做业务或者数据分析&应用。
 
相比批量抽取的优势
与批量同步相比，变更数据的捕获通常具有如下三项基本优势：
  • CDC通过仅发送增量的变更，来降低通过网络传输数据的成本
  • CDC可以帮助用户根据最新的数据做出更快、更准确的决策。例如，CDC会将事务直接传输到专供分析的应用上
  • CDC最大限度地减少了对于生产环境网络流量的干扰。
 
实时同步解决方案目前支持以下两种方案：
  1. 实时整库方案：即支持将一个数据库下的多张schema不同的表在一个解决方案中分别同步到目标端的不同表中。先离线同步，然后实时同步。当前支持 MySQL、PostGreSQL、SQLsever同步到EMR-Doris、StarRocks、LAS
  2. 实时分库分表方案：在整库方案基础上，更进一步支持将schema相同的多个实例的多个数据库的多个分表同步到目标端的一个表中。先离线同步，然后实时同步。适用于分库分表场景。当前支持 MySQL同步到 EMR-Doris、StarRocks、LAS。支持直连同步，也支持中间缓存到后kafka后再同步。
 
灵活的中间件缓存同步模式、极大提高数据消费灵活性
缓存配置目前支持“使用缓存”、“无需缓存，直接同步”这两种缓存配置方式。使用Kafka缓存需要在数据来源配置时绑定对应的CDC采集数据进入的Kafka。使用缓存：可通过使用 Kafka 缓存来采集源端数据，这种方式需要额外配置 Kafka 数据源，并且已为对应的 Kafka 实例，创建了相应的 CDC 数据订阅采集任务，将源端 MySQL 中的数据，实时采集到 Kafka 实例中。无需缓存，直接同步：通过直接采集 MySQL Binlog 日志，进行数据实时读取。
 
客户价值
通过快速连接云下自建/云上数据源进行数据采集同步等，帮助客户连接各类数据上云，以及云上数据流动，轻松完成数据入仓入湖，有效发挥数据的价值。借助CDC分库分表同步，支持数据端到端快速同步，数据实时性得到进一步增强，业务决策时效性提高且更准确。
 
点击跳转大数据研发治理套件 DataLeap了解更多

提升数据决策时效，火山引擎DataLeapCDC分库分表能力升级！的更多相关文章

  1. 【大数据和云计算技术社区】分库分表技术演进&最佳实践笔记

    1.需求背景 移动互联网时代,海量的用户每天产生海量的数量,这些海量数据远不是一张表能Hold住的.比如 用户表:支付宝8亿,微信10亿.CITIC对公140万,对私8700万. 订单表:美团每天几千 ...

  2. 数据字符集mysql主从数据库，分库分表等笔记

    文章结束给大家来个程序员笑话:[M] 1.mysql的目录:在rpm或者yum安装时:/var/lib/mysql  在编译安装时默许目录:/usr/local/mysql 2.用rpm包安装的MyS ...

  3. 【转】MySQL分库分表数据迁移工具的设计与实现

    一.背景 MySQL作为最流行的关系型数据库产品之一,当数据规模增大遭遇性能瓶颈时,最容易想到的解决方案就是分库分表.无论是进行水平拆分还是垂直拆分,第一步必然需要数据迁移与同步.由此可以衍生出一系列 ...

  4. 001---mysql分库分表

    mysql分库分表 一.整体的切分方式 1.分库分表:即数据的切分就是通过某种特定的条件,将我们存放在同一个数据库中的数据分散存放到多个数据库(主机)中,以达到分散单台设备负载的效果 2.数据的切分根 ...

  5. 读写分离&分库分表学习笔记

    读写分离 何为读写分离? 见名思意,根据读写分离的名字,我们就可以知道:读写分离主要是为了将对数据库的读写操作分散到不同的数据库节点上. 这样的话,就能够小幅提升写性能,大幅提升读性能. 我简单画了一 ...

  6. 分布式中的分库分表之后，ID 主键如何处理？

    面试题 分库分表之后,id 主键如何处理?(唯一性,排序等) 面试官心理分析 其实这是分库分表之后你必然要面对的一个问题,就是 id 咋生成?因为要是分成多个表之后,每个表都是从 1 开始累加,那肯定 ...

  7. 分库分表技术演进&最佳实践

    每个优秀的程序员和架构师都应该掌握分库分表,这是我的观点. 移动互联网时代,海量的用户每天产生海量的数量,比如: 用户表 订单表 交易流水表 以支付宝用户为例,8亿:微信用户更是10亿.订单表更夸张, ...

  8. 分库分表之后全局id怎么生成

    数据库自增id: 这个就是说你的系统里每次得到一个id,都是往一个库的一个表里插入一条没什么业务含义的数据,然后获取一个数据库自增的一个id.拿到这个id之后再往对应的分库分表里去写入. 这个方案的好 ...

  9. 分库分表利器——sharding-sphere

    背景 得不到的东西让你彻夜难眠,没有尝试过的技术让我跃跃欲试. 本着杀鸡焉用牛刀的准则,我们倡导够用就行,不跟风,不盲从. 所以,结果就是我们一直没有真正使用分库分表.曾经好几次,感觉没有分库分表(起 ...

  10. Mycat 读写分离+分库分表

    上次进过GTID复制的学习记录,已经搭建好了主从复制的服务器,现在利用现有的主从复制环境,加上正在研究的Mycat,实现了主流分布式数据库的测试 Mycat就不用多介绍了,可以实现很多分布式数据库的功 ...

随机推荐

  1. java——1.变量和数据类型

    变量和数据类型 字符.字节.位之间的关系 1.字符:人类可以阅读的文本内容最小单位 ​ 字符编码:utf-8,gbk 2.字节:1字符=2字节:1字符=4字节 3.位:1字节=8位 位指的是二进制位, ...

  2. WebSocket魔法师：打造实时应用的无限可能

    1.背景 在开发一些前端页面的时候,总是能接收到这样的需求:如何保持页面并实现自动更新数据呢?以往的常规做法,是前端使用定时轮询后端接口,获取响应后重新渲染前端页面,这种做法虽然能达到类似的效果,但是 ...

  3. 【MySQL】MySQL中的锁

    全局锁 全局锁是对整个数据库实例加锁,整个库处于只读状态. flush tables with read lock 适用场景 全局锁适用于做全库逻辑备份,但是整个库处于只读状态,在备份期间,所有的更新 ...

  4. C语言判断输入的正整数是否既是5又是7的整倍数。

    #include<stdio.h> void main() { int n;//定义变量 while (1) { scanf_s("%d", &n); if ( ...

  5. css面试题随笔

    之前在前端群有个汉纸聊到他面试别人时问到:margin塌陷和margin合并问题如何解决? 然后我自己也懵逼了哈哈,因为只是遇到过并不知道这叫塌陷.合并哈哈哈················那我们一起 ...

  6. IDEA提示无法解析resourse中的方法getResourceAsStream

    一.解决方案 1.错误展示: InputStream inputStream = Resources.getResourceAsStream(resource); 2.报错展示: 报错原因:这是因为找 ...

  7. NodeJS下载安装

    一.什么是NodeJS? NodeJS是一个开源,跨平台的JavaScript运行环境 二.NodeJS安装包下载 1.打开网址:Node.js (nodejs.org) 2.下载稳定版本 三.Nod ...

  8. 0x06.HelloPHP

    PHP基础 格式 最后一句可以不加分号 <?php echo "hello" ?> 可以不加结束标签,但是最后一句要加分号 <?php echo "he ...

  9. Android12版本闹钟服务崩溃问题

    原文地址: Android12版本闹钟服务崩溃问题 - Stars-One的杂货小窝 公司项目app线上出现的崩溃记录问题,崩溃日志如下所示: Caused by java.lang.Security ...

  10. [CF1034C] Region Separation

    题目描述 There are $ n $ cities in the Kingdom of Autumn, numbered from $ 1 $ to $ n $ . People can trav ...