华为云云原生数据库:A Philosophy about “less”
摘要:斯坦福教授、Tcl语言发明者John Ousterhout的著作《A Philosophy of Software Design》提出了一个经久不衰的观点——软件设计的核心在于降低复杂性。
在新技术不断涌现的云时代,出现了一种“技术过载”现象——本应帮助企业提高效率的技术,反倒让企业心生焦虑,企业担心不会用、用不好,这在数据库领域体现得十分突出。
数据库是现代企业的核心系统,随着云计算从根本上改变IT产业的格局,数据库重构突然变成了“容易”的事。“事出反常必有妖”,为了重构而重构的数据库,给企业和开发者们带来了新的挑战。
他们要面对不同数据库的复杂理念和运维,这些复杂性不应该被让渡到使用者的层面。
斯坦福教授、Tcl语言发明者John Ousterhout的著作《A Philosophy of Software Design》提出了一个经久不衰的观点——软件设计的核心在于降低复杂性。
数据库可谓是最复杂的关键基础软件之一,关于如何降低数据库复杂性的思考,在当下变得十分应景。书中提到的一些方法,例如分层、抽象和复杂性下沉,正在先行者华为云云原生数据库GaussDB身上得到新的演绎,也推动着云原生数据库走向下一阶段。
分层和抽象之后
在软件领域,分层和抽象的逻辑并不陌生,计算机体系结构、TCP/IP网络协议等都是这种理念的体现,在云计算领域,IaaS、PaaS、SaaS是云计算平台的三层能力,实际上就是云对传统IT的分层和抽象。
IaaS让开发者不必考虑计算、存储和网络等资源调度,PaaS提供中间件和丰富的平台能力,SaaS提供开箱即用的应用,从IaaS到SaaS,抽象的程度越来越高,使用者关心的技术细节也就越来越少,正如现在几乎没有人关注计算机体系机构和TCP/IP网络协议一样。
数据库的云原生化,就是一个不断提高抽象程度的过程,数据库厂商希望借此降低复杂性。
此前,传统数据库或者新诞生的云原生数据库,都在贴近云技术进行改造和重塑,开发者对后端资源的关注有所降低,但这依然不足以让云原生数据库的复杂性降低到令人满意的水平。

华为云数据库服务产品部总经理苏光牛
华为云数据库服务产品部总经理苏光牛表示,从云化到云原生化,过去更多是做服务化,今天更多是对数据库内核进行重构,实现基于云的架构来构建、真正的“生于云、长于云”的数据库。
譬如从产品方面来讲,传统数据库基于单机主备架构来构建,要做到云化,需要对产品的整体架构做重构,贴合云的各种技术栈来进行,例如:分布式存储和对象存储,容器化等基础技术。
再从商业模式来讲,数据库云化需要改变客户使用传统数据库的模式,重点从按需的使用模式出发,端到端的客户体验的优化,比如Serverless模式,这是简单的数据库服务化做不到的,从IaaS的资源调度到Serverless,就是抽象程度提高的典型例子。
新的阶段,数据库所面临的挑战有四个方面,时效性、可用性、多模融合和性价比,表面看起来似乎还是那些要求,但是要求数据库厂商对技术的把握和业务的理解,再上一个台阶。
A Philosophy about “less”
John Ousterhout告诉我们,如果一定要在某个层次处理复杂性,这个层次越低越好,数据库的复杂性和下层功能相关,下沉之后能够解决其他层次和整体的复杂性,华为云便是这么做的。
华为云认为,未来的云数据库需要做三大转变,第一是从关注资源的规划部署,转变为聚焦应用如何更好地使用;第二是从关注数据的物理部署,转变为如何让数据全域可用;第三是从关注多个分离模型的数据转变为多模融合,从关注单一交易或分析业务(TP或者AP)负载,转为HTAP一体化负载,数据库根据业务类型和负载自动选择合适的引擎来处理。
为了实现这些转变,数据库领域需要引入新的技术,实现云原生数据库的Serverless、Regionless、Modeless,也是华为云GaussDB的技术哲学——A Philosophy about “less”,让复杂的事情简单化。
苏光牛提到,Serverless让应用弹性透明地调度和无损透明切换成为可能,过去的Serverless主要是单机伸缩和无状态管理,可能会引起业务中断、受损,云原生Serverless将从通用场景出发,实现失耦状态的常态管理。
Regionless让数据全域可用,用户只需要关注流量从哪里来,用户从哪里访问,数据库将数据分布到不同的Region,应用就近、随时随地访问数据。全球分布统一管理的数据库管理系统和数据库的部署能力,将成为数据库的核心竞争力。
Modeless带来数据库极简体验,传统的数据库只能支持单一负载或者单一模式(KV、文档、时序、宽表等),而企业的应用在融合,交易和分析任务兼有,还有图像和地理信息。
GaussDB分别采用HTAP和多模数据库技术,一个入口处理多样负载、一个入口处理多种数据类型,有效地避免了传统解决方案的抽取、转换和装载繁琐的过程,实现一站式处理,业务接入效率可从数月缩短至数天。
可以看出,为了解决数据库的复杂性问题,华为云下沉到了更深一层,Serverless是更进一步的资源抽象,Regionless是更进一步的空间抽象,Modeless是更进一步的模型抽象,三者都实现了云原生化细颗粒度的解决方式。

“无感知”的数据库
“Less is more”,抽象的程度越高,使用者就越不必关心具体技术和细节,但这并不意味着数据库技术难度降低,相反,数据库厂商把复杂做成简单,内敛比外化要难得多。
例如华为云无感知的资源调度框架AST,智能判断用户负载,实时匹配负载资源将用户成本降到最低;全域数据分层引擎GTE,将部分不常用数据放到低成本的对象存储上,GTE引擎还能支持多个实例共享一份数据同时读取;NDPQ近存储并行查询技术,把一些算子下推到存储上进行计算,计算节点和存储节点都能够进行本地处理,减少网络带宽传输,提高业务效率。
数据库的复杂性下沉,既是技术的下沉,华为云GaussDB将复杂性下沉到离用户更远的一层,也是场景应用的下沉,让数据库去适配应用开发者的习惯,企业用户离DaaS(Database as a Service)才能越来越近。
华为从2007年就开始研发内存数据库,起初是因为电信领域对数据的要求极高,市场上找不到能与之较好契合的数据库。后来随着华为业务的发展,华为不断投入资源研发数据库,打造了一系列数据库产品。
苏光牛提到,华为本身对数据库的要求就是全方位的,包括:华为自身的IT系统、华为成熟的ICT业务以及华为的互联网业务、终端云等需求,GaussDB既要满足金融政企对数据库的严苛诉求,也要满足互联网行业这样典型的To C类业务诉求,这是华为云数据库区别于其他厂商的关键。
因此,GaussDB一开始就瞄准全行业不同场景,与云平台的技术能力深度结合,把云原生数据库的弹性、极简体验做到极致,这也是数据库的未来,企业无需关注数据库的类型,即可拥有无感知的体验。
例如华为运动健康App,全球范围内用户数超4亿,月活跃用户数超过9000万,它选择了华为云GaussDB(for Cassandra),存算分离架构可以很好满足业务海量并发的需求,同时具备快速扩容能力,高峰期承载上千万QPS,最大能够支持百亿行的表。
互联网应用重视数据库的性价比,且对弹性扩展的灵活性要求高,GaussDB(for Cassandra)能够保证业务高并发运行的同时,实现低时延,很好地满足了穿戴设备数据写入的需求。
再如永安保险,保险业务对数据库的扩展性、性能等要求极高,更要满足数据安全与灾备监管要求,新时代业务敏捷创新与上线,呼唤云化开放架构和分布式技术,永安保险希望找到“一专多能”的云原生数据库。
华为云GaussDB(for MySQL)和数据复制服务DRS,支持主流商业数据库生态,全栈工具链助力切换主流商业数据库,业务无需改造,资源弹性扩容能力强,且华为云DRS简单易用、安全可靠,实现了永安保险意外险和健康险业务的高效上云。
保险业务属于金融场景,是数据库领域的核心地带之一,在云原生时代的大背景下,以华为云GaussDB整体为代表的“新”数据库,正在挑战Oracle和IBM DB2等为代表的“旧”数据库,新与旧的博弈,最终由客户业务场景来评判,云原生数据库正在攻城略地。
在全方位场景化的驱动下,华为云数据库凝练出自己的发展方向,让企业客户不必纠结于复杂的技术,俨然也成为云原生数据库行业的风向标,云原生数据库的成熟态,行且将至。
华为云云原生数据库:A Philosophy about “less”的更多相关文章
- 再测云原生数据库性能:PolarDB依旧最强,TDSQL-C、GaussDB变化不大
1.摘要 近期,腾讯云数据库在文章「腾讯云TDSQL-C重磅升级,性能全面领跑云原生数据库市场」中提到,某些场景下性能有非常大的提升,且超过国内某橙色云厂商.恰好,在5月份,我们对各个厂商的云原生数据 ...
- 为什么CynosDB叫真正的云原生数据库?
本文由腾讯云数据库发表 注:本文摘自2018年11月22日腾讯云数据库CynosDB新品发布会的演讲实录.随着互联网信息的发展,大家也对云这个词汇也不是特别陌生了,作为全球首选的云服务厂商之一的腾讯云 ...
- 比MySQL快6倍 深度解析国内首个云原生数据库POLARDB的“王者荣耀”
随着移动互联网.电子商务的高速发展,被使用最多的企业级开源数据系统MySQL面临着巨大挑战——为迎接“双11"的高并发要提前做好分库分表;用户不断激增要将读写分离才能应对每天上亿次的访问,但 ...
- 华为云分布式数据库中间件DDM和开源MyCAT对比
前言 华为云分布式数据库中间件(Distributed Database Middleware)是解决数据库容量.性能瓶颈和分布式扩展问题的中间件服务,提供分库分表.读写分离.弹性扩容等能力,应对海量 ...
- 云原生数据库崛起,阿里云POLARDB当选世界互联网领先科技成果!
第六届世界互联网大会来了!千年水乡古镇乌镇又一次吸引了全世界的目光. 刚刚,阿里云自研数据库POLARDB在会上当选世界互联网领先科技成果.POLARDB解决了企业在云时代的数据库难题,帮助企业在数小 ...
- 云栖干货回顾 | 云原生数据库POLARDB专场“硬核”解析
POLARDB是阿里巴巴自主研发的云原生关系型数据库,目前兼容三种数据库引擎:MySQL.PostgreSQL.Oracle.POLARDB的计算能力最高可扩展至1000核以上,存储容量可达100TB ...
- 深度解析国内首个云原生数据库POLARDB的“王者荣耀”
随着移动互联网.电子商务的高速发展,被使用最多的企业级开源数据系统MySQL面临着巨大挑战--为迎接"双11"的高并发要提前做好分库分表;用户不断激增要将读写分离才能应对每天上亿次 ...
- 云原生数据库mysql对共享存储分布式文件系统的接口需求分析
1. 引言 云原生数据库跟分布式mpp数据库是有差异的,虽然两者都是计算与存储分离,但是在资源的占用上有所不同.云原生数据库是shard everything架构,其依赖的存储资源.内存资源.事务资源 ...
- 云原生数据库 TDSQL-C 产品概述、产品优势、应用场景
云原生数据库 TDSQL-C(Cloud Native Database TDSQL-C,TDSQL-C)是腾讯云自研的新一代高性能高可用的企业级分布式云数据库.融合了传统数据库.云计算与新硬件技术的 ...
- 又拿奖了!腾讯云原生数据库TDSQL-C斩获2021PostgreSQL中国最佳数据库产品奖
日前,开源技术盛会PostgresConf.CN & PGconf.Asia2021大会(简称2021 PG亚洲大会)在线上隆重召开,腾讯云作为业内领先的云数据库服务商受邀出席,多位专家深入数 ...
随机推荐
- 【matplotlib 实战】--饼图
饼图,或称饼状图,是一个划分为几个扇形的圆形统计图表.在饼图中,每个扇形的弧长(以及圆心角和面积)大小,表示该种类占总体的比例,且这些扇形合在一起刚好是一个完全的圆形. 饼图最显著的功能在于表现&qu ...
- 使用go语言开发hive导出工具
前言 新版 hive 提供了 beeline 工具,可以执行SQL并导出数据,不过操作还是有点复杂的,团队里有些同学不会Linux的基本操作,所以我花了亿点点时间写了个交互式的命令行工具方便使用. 效 ...
- IntersectionObserver v2版本
业务需要内容展示后日志打点,于是使用到了IntersectionObserver,实践中发现一个问题:如果内容出现在了可视区内,但是被其他元素遮挡住了,这时候仍然会打日志. 于是寻找解决方案,发现In ...
- 使用VSCode新建解决方案,添加ClassLib类库工程
最近准备全面转向VSCode开发C#代码,所以第一件事就是使用VSCode新建解决方案,添加工程. 通过ChatGPT找到的大致的实现方案: 首先,打开VS Code的终端,然后导航到您想要创建解决方 ...
- 入门篇-其之六-附录一-以Java字节码的角度分析i++和++i
前言:众所周知,i++和++i的区别是:i++先将i的值赋值给变量,再将i的值自增1:而++i则是先将i的值自增1,再将结果赋值给变量.因此,二者最终都给i自增了1,只是方式不同而已. 当然,如果在面 ...
- coco漫画获取隐藏的图片链接
网站分析 打开目标网站:https://www.cocomanhua.com/, 随便打开一部漫画: https://www.cocomanhua.com/10330/1/205.html F12 打 ...
- java: -source 1.5 中不支持 diamond 运算符 (请使用 -source 7 或更高版本以启用 diamond 运算符)
报错信息:java: -source 1.5 中不支持 diamond 运算符 (请使用 -source 7 或更高版本以启用 diamond 运算符) 解决方案:如下 1.file --> p ...
- python 执行脚本,并将输出打印到文件
转载请注明出处: 在使用 python 直接执行脚本时,执行的相关输出会打印到当前的控制台,如果想输出到指定的文件,可以采用以下几种方式: 1.在启动时,使用 > 操作符,该操作符会将输出写入到 ...
- ics-06
打开题目界面有点科技感,然后找到报表中心的位置 url地方出现了一个奇怪的id,试了下sql注入但是没报错,判断应该不是sql注入,然后就坐牢了 看了wp得在id的地方进行爆破 爆破了1-2500可以 ...
- 排序:使数组唯一的最小增量 (3.22 leetcode每日打卡)
给定整数数组 A,每次 move 操作将会选择任意 A[i],并将其递增 1. 返回使 A 中的每个值都是唯一的最少操作次数. 示例 1: 输入:[1,2,2]输出:1解释:经过一次 move 操作, ...