本文由云+社区发表

作者:邵宗文,2009年加入腾讯,现为腾讯云数据库专家产品经理。之前曾负责为OMG事业群构建数据库平台,部署,规划及运维支持,为腾讯网,新闻客户端,快报,视频,财经,体育等提供了稳定的服务。06-09年曾任新浪数据库专家,数据库平台主管,有非常丰富的海量大数据经验。

下方视频为邵宗文在未来大会演讲实录。每个行业对数据库有不一样的要求,云上数据库通过智能化运维,数据会越来越多,准确度也越来越高,模型也会越来越精准。腾讯云上数据库如何满足用户多样化的诉求?一起来听听吧。

数据库SaaS服务体系

数据SaaS服务涵盖用户从上云,日常运维使用,数据安全审计,及订阅商业分析。

腾讯云数据库让您可以轻松在云端部署、使用数据库。通过云数据库MySQL,您在几分钟内即可部署可扩展的数据库实例。不仅经济实惠,而且可以弹性调整硬件容量的大小而无需停机。TencentDB for MySQL 提供备份回档、监控、快速扩容、数据传输等数据库运维全套解决方案,为您简化 IT 运维工作,让您能更加专注于业务发展。

数据库迁移

数据传输服务(Data Transmission Serivce DTS)提供数据迁移、数据同步、数据订阅于一体的数据库数据传输服务,帮助您在业务不停服的前提下轻松完成数据库迁移,利用实时同步通道轻松构建异地容灾的高可用数据库架构。数据传输服务DTS的目标是帮用户将复杂的数据交互工作承担下来,让用户可以专注于上层的业务开发。

数据迁移

支持不同环境及不同类型的数据库迁移。支持迁移的源库包括有公网IP的外网自建数据库,通过VPN、专线等网络环境接入腾讯云的自建数据库,云服务器CVM自建数据库;目标库为TencentDB for MySQL实例。支持查看所有迁移任务的状态及多任务批量操作。 DTS提供的数据迁移功能是您数据上云的的最佳选择。数据迁移仅需几步设置,则可帮助您完成数据从本地迁移上云的一系列繁琐工作。迁移过程中并不影响源数据库继续对外提供服务,最小化上云过程对您业务的影响。

提供自建 MySQL 数据库到云数据库 TencentDB for MySQL 的连续数据复制,用户可在不停服的情况下对数据进行在线热迁移,支持具有公网 IP/Port 或专线接入腾讯云的本地 IDC 或腾讯云云服务器 CVM 上 MySQL 数据库迁移。实例有关联灾备实例暂不支持数据传输服务,请建工单进行迁移。(通过增量迁移的时间建议不超过15天,请确保主从追上之后单击迁移完成按钮。)

1.Redis 迁移

在线迁移工具暂不支持的迁移类型:主从版、集群版、自研CKV+引擎 三者实例间的迁移。

迁移注意事项
  1. 目前仅支持迁移到腾讯云 redis 的主从版本;
  2. 为保障迁移效率,CVM 自建实例迁移不支持跨地域迁移;
  3. 由于 rdb 协议限制,暂不支持自建实例 redis 3.2 版本的迁移;
  4. 外网实例迁移时,请确保源实例服务在外网环境下可访问;
  5. 进行迁移任务时,只允许迁移正常运行状态下的实例,且未初始化密码或者有其他任务在执行中的实例,是不能够迁移的;
  6. 目的实例必须是没有数据的空实例,迁移过程中,会锁住实例,不能对实例进行写入操作;
  7. 迁移成功时,由业务侧验证数据后,可断开源实例连接,将连接切换到目标实例。

2.PostgreSQL 数据库迁移

数据传输服务 DTS 支持数据迁移功能,提供自建 PostgreSQL 数据库到云数据库TencentDB for MySQL的连续数据复制,用户可在不停服的情况下对数据进行在线热迁移,支持具有公网 IP/Port 或专线接入腾讯云的本地 IDC 或腾讯云云服务器 CVM 上 PostgreSQL 数据库迁移。数据迁移目前只支持 PostgreSQL 数据库的版本是9.3.x,9.5.x,同时9.3.x 不支持增量同步,9.5.x 需要通过在线同步插件才能支持。

数据库审计

数据库审计是腾讯云为了解决行业客户遇到的诸如金融审计需求,以及实际运行中遇到的安全防护,SQL 延迟性能问题等多种综合需求而提供的产品。

1.全面审计

  • 数据库访问的全部记录,最大程度满足用户审计需求,可追溯对应用者的身份和行为;
  • 准确审计:用户可设置规则,只保证规则匹配到的审计规则有数据保存,规则也可以设置为全量审计;
  • 提供海量 TB 级数据存储,可以后续根据用户要求提供长期备份。

2.高效审计

  • 与目前其他通过旁路做审计检查方式不同,腾讯云数据库 TencentDB for MySQL 通过内核插件进行上报;
  • 后期还会逐步增加实时阻隔功能,另外在实际测试影响性能不到 2%;
  • 高效分析:提供用户、IP、客户端工具、访问时间、操作对象、SQL 操作类型、成功与否、访问时长、影响行数等多种检索条件的快速分析与检索,实测 30 多亿级数据 6-8 秒内响应。

背景说明

管理风险

系统管理员存在的误操作、违规操作、越权操作,损害业务系统安全运行;

多人公用一个帐号,责任难以分清;

第三方开发维护人员的误操作,恶意操作和篡改;

超级管理员权限过大,无法审计监控。

技术风险

应用系统开发商后门或漏洞;

离职员工留下后门。

政策风险

无法达到国家等级保护(三级)明确要求(7.1.3.3);

满足不了行业信息安全合规性文件要求——如人行《金融行业信息系统信息安全等级保护实施指引》;

数据订阅

数据传输服务 DTS 提供了基于 binlog 的增量数据订阅功能,仅需几步简单操作,即可订阅云数据库 TencentDB for MySQL 的增量更新数据:

  • 在腾讯云 DTS 控制台购买并创建 TencentDB for MySQL 实例的订阅通道。
  • 使用 DTS 数据订阅 SDK 连接这个订阅通道,订阅并消费增量数据。

原理

我们会通过模拟从库向主库获取对应 binlog 内容进行分析,大概架构图如下,我们会通过解析 binlog ,按照订阅通道配置的库表进行分析,所以几乎对主库没有影响。

注意:

  • 目前我们对订阅的消息内容默认会保留最近 3 天。
  • 另外如果订阅整库的话,后续新增的表也是会在原有订阅通道出现,不需要对原订阅通道进行新增配置操作。
  • 目前只支持 TencentDB for MySQL5.6,后续会很快支持 TencentDB for MySQL5.7。
  • 数据订阅暂不支持view,触发器和外键。
  • 数据订阅初次配置需要对相关 binlog_row_image 参数做调整,会根据符合条件自动 kill 老的 session 使参数立即生效。
  • 数据订阅目前支持的字符集包括 latin1,utf8,utf8mb4。

总结

未来的云数据库将会成为企业IT架构的“水,电,煤”,可以按需快速启动,支持各种类型的数据,满足所有种类的业务,无限存储,无服务器,全智能,自驱动,零运维,闲时免费,覆盖全球并能自动扩展到近用户端,提供稳定可靠自由扩展的服务,腾讯云数据库将不懈的努力将更多的产品能力普惠世界。

此文已由腾讯云+社区在各渠道发布

获取更多新鲜技术干货,可以关注我们腾讯云技术社区-云加社区官方号及知乎机构号

一文了解腾讯云数据库SaaS服务的更多相关文章

  1. 腾讯云数据库团队:浅谈如何对MySQL内核进行深度优化

    作者介绍:简怀兵,腾讯云数据库团队高级工程师,负责腾讯云CDB内核及基础设施建设:先后供职于Thomson Reuters和YY等公司,PTimeDB作者,曾获一项发明专利:从事MySQL内核开发工作 ...

  2. 腾讯云数据库团队:MySQL AHI 实现解析

    MySQL 定位用户记录的过程可以描述为:打开索引 -> 根据索引键值逐层查找 B+ 树 branch 结点 -> 定位到叶子结点,将 cursor 定位到满足条件的 rec 上:如果树高 ...

  3. 腾讯云数据库团队:MySQL数据库的高可用性分析

    作者介绍:易固武,腾讯高级工程师,参与腾讯账号安全建设,腾讯数据仓库(TDW)优化改造,腾讯云数据库等项目,对大规模分布式存储和计算系统有浓厚的兴趣和经历 MySQL数据库是目前开源应用最大的关系型数 ...

  4. TDSQL|三篇论文入选国际顶会SIGMOD,厉害了腾讯云数据库

    好消息!6月13日,腾讯云数据库三篇论文再次入选数据库行业顶会SIGMOD,被SIGMOD 2022 Research Full Paper(研究类长文)收录. 本次被收录的研究成果中,新型数据结构设 ...

  5. MySQL之父造访腾讯云 为腾讯云数据库开源点赞

    近日,技术大牛 MariaDB 公司创始人兼CTO Michael Widenius(又名Monty).MariaDB 基金会主席 Kaj 来到中国,针对MariaDB与腾讯云的技术合作进行回访.去年 ...

  6. 腾讯云数据库TDSQL-大咖论道 | 基础软件的过去、现在、未来

    近十年来,中国基础软件发展势头迅猛,市场前景看高,越来越多的企业也正在进行基础软件升级.那中国基础软件行业目前在国际市场上有什么优势,面临哪些困境,以及未来基础软件行业会如何发展呢?腾讯云数据库邀请沙 ...

  7. 腾讯云数据库公有云市场稳居TOP 2!

    7月4日,国际权威机构IDC发布的<2021年下半年中国关系型数据库软件市场跟踪报告>显示,腾讯云数据库在关系型数据库软件市场(公有云模式)中,位列第二. IDC报告显示,2021下半年中 ...

  8. 使用springboot集成腾讯云短信服务,解决配置文件读取乱码问题

    springboot集成腾讯云短信服务: (1)导入依赖 <dependency> <groupId>org.springframework.boot</groupId& ...

  9. 腾讯云数据库团队:phpMyAdmin中sql-parser组件的使用

    phpMyAdmin是一款基于Web端运行的开源数据库管理工具,支持管理MySQL和MariaDB两种数据库. phpMyAdmin的程序主要使用php和javascript开发,它的安装使用都比较简 ...

随机推荐

  1. Mybatis中的逆向工程

    1. 准备工作 数据库驱动jar包, mybatis的jar包, 日志记录jar包 2. 配置文件 1. 在src的同级目录下配置generatorConfig.xml文件 <?xml vers ...

  2. Activity的运行过程

    今天看到了这个关于Activity的过程这个方面的知识,之前我其实也是做过安卓项目的,也是有安卓开发的一定经验的,但是我发现之前似乎是知其然,而不知其所以然,之前来说只知道activity里的onCr ...

  3. Java开源生鲜电商平台-搜索模块的设计与架构(源码可下载)

    Java开源生鲜电商平台-搜索模块的设计与架构(源码可下载) 说明:搜索模块针对的是买家用户,在找菜品找的很费劲下的一种查询方面.目前也是快速的检索商品. 对于移动端的APP买家用户而言,要求的速度在 ...

  4. Python Redis 的安装

    安装 可以去pypi上找到redis的Python模块: http://pypi.python.org/pypi?%3Aaction=search&term=redis&submit= ...

  5. jQuery学习之旅 Item9 动画效果

    1.元素的显示和隐藏 display:none; 隐藏 display:block; 显示 简单显示和隐藏方法 a) show() 显示 b) hide() 隐藏 c) toggle() 开关,显示则 ...

  6. 解决Apache Web Server的几个错误

    一.安装好Apache后服务里没有Apache服务 在命令行进入安装apache的bin目录下,输入命令 httpd.exe -k install -n Apache2.4 二.Apache web ...

  7. 判断系统是64位还是32位的bat方法

    if "%PROCESSOR_ARCHITECTURE%"=="x86" goto x86 if "%PROCESSOR_ARCHITECTURE%& ...

  8. C++中的内联函数和C中的宏定义的区别

    在C++中内联函数: 内联函数即是在函数的声明和和定义前面加上“inline”关键字,内联函数和常规函数一样,都是按照值来传递参数的,如果参数为表达式,如4.5+7.5,则函数将传递表达式的值(这里为 ...

  9. 【Homework】LCA&RMQ

    我校是神校,作业竟然选自POJ,难道不知道“珍爱生命 勿刷POJ”么? 所有注明模板题的我都十分傲娇地没有打,于是只打了6道题(其实模板题以前应该打过一部分但懒得找)(不过感觉我模板还是不够溜要找个时 ...

  10. CentOS7 配置SVN服务器

    也可以参考这里:https://jingyan.baidu.com/article/148a1921d84be34d71c3b18f.html 1.安装svn yum install -y subve ...