墨天轮国产数据库沙龙 | 胡彦军:华为GaussDB迁移工具解密
在共同推进国产化生态发展的进程下,墨天轮正式推出“墨天轮国产数据库沙龙”系列直播活动,将定期邀请各国产数据库产品专家、掌门人,共同探讨如何达成技术“自主可控”的使命。
本文为华为云计算数据库高级产品经理——胡彦军在“墨天轮国产数据库沙龙”中分享的内容整理而成。
解密华为GaussDB迁移工具,是如何仅需要两步,就实现从千万行级PL/SQL、TB级数据库的迁移。
数据一直是企业重要的资产,围绕着数据相关的内容仍然是重要的话题。目前国内外经济形势与云计算,都不断推动着国产数据库的发展,云和国产化数据库是目前的主要方向。从整体上看,国产数据库企业仍然处于初级阶段,发展空间持续看好。
华为数据库迁移与管理整体解决方案分别需要两款工具:UGO(Database and Application Migration UGO,简称UGO)和DRS(Data Replication Service,简称DRS)。UGO在数据库迁移中负责语法迁移,进行异构数据库的评估与转换。DRS进行数据迁移与数据校验,实现基于日志的实时变化数据捕捉。

图为华为云数据库迁移与管理整体解决方案
UGO
UGO(Database and Application Migration UGO,简称UGO)是专注于异构数据库结构迁移和应用SQL转换的专业云服务。通过UGO的预迁移评估、自动化语法转换,帮助用户提前识别迁移风险,提升迁移效率,最大化降低用户的数据库迁移成本。
数据库和应用迁移UGO,通过迁移评估、结构迁移二大核心功能,实现主流商用数据库到华为云数据库的自动化搬迁,助力实现一键上云、一键切换数据库的目的。

UGO核心组件、执行流程和技术架构
在整个过程中分为两个部分,第一部分是迁移评估,帮助用户在调研阶段了解搬迁过程中的难度大小,直观感受系统的有多大从而评估迁移的投入。
第二部分即可开始迁移实施,通过对象过滤、语法转换、对象校正、验证上线,最后转移到目标数据库。在这个过程中,能够实现循环校正与持续验证。后期UGO规划在精度、宽度和广度上增强方向。
DRS
DRS(Data Replication Service,简称DRS)能够保障在数据库迁移中不影响业务,做到“安心”、“省心”、“信心”。

安心
先进的增量数据同步技术,实现在业务进行中持续搬迁数据库,迁移不影响业务省心
上万案例提炼,百项检查自动识别问题,人人都能干好迁移信心
提供数据对比、业务流量云上试运行、上云数据和性能提前可知可见

图为DRS技术原理
数据对比是很大的问题,需要准确知道数据迁移的一致性。停机时间长能够实现准确性的对比,但是导致业务停滞会出现“本末倒置”,如何解决这个业界难题?
华为云基于默克尔树的快速对比算法,让等待结果不再漫长。

图为默克尔树比对过程
更多精彩内容,欢迎大家观看现场视频回放与会议资料
视频回放:https://www.modb.pro/video/5454
会议资料:https://www.modb.pro/doc/48523
墨天轮,围绕数据人的学习成长提供一站式的全面服务,打造集新闻资讯、在线问答、活动直播、在线课程、文档阅览、资源下载、知识分享及在线运维为一体的统一平台,持续促进数据领域的知识传播和技术创新。
关注官方公众号: 墨天轮、 墨天轮平台、墨天轮成长营、数据库国产化 、数据库资讯
墨天轮国产数据库沙龙 | 胡彦军:华为GaussDB迁移工具解密的更多相关文章
- 数据库周刊31丨openGauss 正式开源;7月数据库排行榜发布;浙江移动国产数据库AntDB迁移;oracle ADG跨版本搭建;PG解决社保问题;mysqlbinlog解析……
摘要:墨天轮数据库周刊第31期发布啦,每周1次推送本周数据库相关热门资讯.精选文章.干货文档. 热门资讯 1.openGauss 正式开源,华为公开发布源代码[摘要]6月1日,华为正式宣布开源数据库能 ...
- 【巨杉数据库SequoiaDB】企业级和开源领域“两开花”,巨杉引领国产数据库创新
2019年12月15日,OSC 源创会·年终盛典在深圳圆满举行.巨杉数据库作为业界领先的金融级分布式数据库厂商, 获得 “2019年开源数据库先锋企业” 及 “2019 GVP-Gitee最有价值开源 ...
- .NET CORE 下如何使用国产数据库进行 开发
主流国产数据库 随着贸易战的升级 ,自主研发和知识产权也是一个大的趋势,达梦和人大金仓是国产数据库中比较主流的 1.达梦数据库 更接近Oracle,更偏向自主研发,对开发人员友好度不如金仓 达梦公司在 ...
- DBeaver连接达梦|虚谷|人大金仓等国产数据库
前言 工作中有些项目可能会接触到「达梦.虚谷.人大金仓」等国产数据库,但通常这些数据库自带的连接工具使用并不方便,所以这篇文章记录一下 DBeaver 连接国产数据库的通用模版,下文以达梦为例(其他国 ...
- 强强联袂!腾讯云TDSQL与国双战略签约,锚定国产数据库巨大市场
日前,腾讯云计算(北京)有限责任公司与北京国双科技有限公司签署了<国产数据库产品战略合作协议>,双方将在数据库技术方面展开深度合作,通过分布式交易型数据库的联合研发.产品服务体系建设.品牌 ...
- flowable如何适配国产数据库达梦
前言 flowable6.4.1流程引擎官方支持的数据库有:MySQL.hsql.Oracle.DB2 .postgres.SQL Server.H2.对于其他类型的数据库如何支持,尤其是国产数据库的 ...
- Camunda如何适配国产数据库达梦
前言 camunda流程引擎官方支持的数据库有:MySQL .MariaDB .Oracle .DB2 .PostgreSQL .SQL Server.H2.对于其他类型的数据库如何支持,尤其是国产数 ...
- mysql转国产数据库达梦随记
记录一下转换的一些小坑. window环境 项目是springboot+ activiti6 + vue 第一步转移数据: mysql5.7 ---> 达梦7 这里使用dm的工具进行转换.发现 ...
- [开源] .Net 使用 ORM 访问 华为GaussDB数据库
前言 华为GaussDB是一个企业级AI-Native分布式数据库.GaussDB采用MPP(Massive Parallel Processing)架构,支持行存储与列存储,提供PB(Petabyt ...
- 巨杉TechDay回顾 | WARNING!您参加的数据库沙龙热度已爆表……
自从2008年“大数据”这一概念被首次提出以来,在过去这10年中,几乎各行各业都或多或少受到了这一概念的影响.与此同时,在AI.云计算.物联网.区块链等新兴技术快速发展的今天,数据库己经成为了决定所有 ...
随机推荐
- excel一次性粘贴2万行数据
测试导入文件功能中,会出现需要验证导入大批量数据文件的情况,怎么样让文件快速从1行数据变成2万行数据呢,以下讲解方法: 1.如下原文件只有2行数据,第一行是标题第二行是数据 2. 选中需要复制的第二行 ...
- 【IDEA】创建Maven工程
当前工程,点new - project 选Maven,不需要点选什么骨架创建,骨架创建要下载大量依赖,生成时间太长, 空Maven的目的是让我们自己了解这个项目结构,需要什么依赖再加什么依赖 框线内的 ...
- 人形机器人(具身智能,Embodied Intelligence)—— 抓取动作(上半身动作规划)的各大公司技术路线
视频地址: https://www.youtube.com/watch?v=UZBSXzNKB1Q
- NVIDA GPU-SXM和NVIDA GPU-PCIe 两种类型显卡到底哪个性能更高?
相关: 大模型时代该用什么样的显卡 -- 实验室新进两块A800显卡 浅析:NVIDA GPU卡SXM和PCIe之间的差异性 原来SXM类型的显卡比PCIex类型显卡性能要高.PCIE版本是通用接口, ...
- 强化学习:一种新的并行算法下的参数同步更新方式——半异步更新方式——( 同步、异步 -> 半异步 )
Abstract: 并行算法下的参数同步方式一般有同步更新和异步更新两种方式,本文在此基础之上提出了一种新的参数同步方式--半异步更新方式. Introduction: 这里用神经网络举例子,也就是神 ...
- 使用TensorFlow、Pytorch等深度学习框架时如何设置对OpenCV的使用
如题: 在使用深度学习框架时如果同时也在使用opencv那么有一些设置是需要设定的,第一个就是在python代码中设定禁止使用opencl: cv2.ocl.setUseOpenCL(False) o ...
- 如何实现nvidia显卡的cuda的多kernel并发执行???
相关: CPU端多进程/多线程调用CUDA是否可以加速??? 参考: <CUDA C 编程指南>导读 https://developer.nvidia.com/blog/gpu-pro-t ...
- 旋转数组-python
旋转数组 给定一个数组,将数组中的元素向右移动 k 个位置,其中 k 是非负数. 示例 1: 输入: [1,2,3,4,5,6,7] 和 k = 3 输出: [5,6,7,1,2,3,4] 解释: 向 ...
- [题解] [ABC221H] Count Multiset - DP
[ABC221H] Count Multiset 题面翻译 输入两个正整数 \(N,M\),并存在一个集合,问你一个长度为 \(k\) 的合法集合存在多少个?你需要回答 \(k\) 的值为 \(1\) ...
- Linux 进程编程入门
关于进程和线程的关系,之前一口君写过这几篇文章,大家可以参考下. 本文从头带着大家一起学习Linux进程 <搞懂进程组.会话.控制终端关系,才能明白守护进程干嘛的?> <[粉丝问答6 ...