有了这个数据强一致“利器”,DBA们轻松修复数据对加班“say no”
摘要:不想加班修复数据?强一致的华为云数据库GaussDB(for Cassandra)来了……
本文分享自华为云社区《HDC.Cloud2021|华为云GaussDB让开发者们不再加班修复数据》,原文作者:心机胖。
众所周知,智能时代的来临正是因为开发者们用一行行代码铸就了千行百业向上、向前的阶梯。大到从2G至5G的突破,小到每个技术的由点到面的攻克,每个突破都会成为行业里最新的利器,比如在数据库领域,DBA们苦Cassandra“数据不一致”久矣:
- 一致性级别设为local quorum,查询某个分区键的条数,每次查询,条数都不一样。
- 按这个分区键的token修复,直接瞬间修复结束。但是再查,还是每次查询条数不一致。
- 之前遇到墓碑丢失的问题,单个token查询结果不一致,修复也解决不了
- …..
如今,强一致的华为云数据库GaussDB(for Cassandra)来了,DBA和开发者们再也不用加班修复数据了。
GaussDB(for Cassandra)是一款基于华为自主研发的存算分离架构的分布式云数据库。它是一个强一致性系统,架构基于华为内部强大且广泛使用的自研分布式存储系统DFV,充分发挥了云开源的弹性伸缩、资源共享的优势,它高度兼容Cassandra协议,拥有超强写入性能,同时具有分钟级节点扩容、数据强一致等优势,性能更强,数据更可靠,扩容更敏捷。整体性能是开源自建2~3倍。

开源Cassandra为何不能实现数据强一致?
众所周知,开源Cassandra使用CAP模型中的 AP 放弃了强一致是个既定事实。以开源Cassandra一致性读场景为例:假如你在图书馆的某一排书架上想借阅一本书,假设书架上书本只有新旧之分,本来你想借阅新入馆的书本,但规则是就近取书,这意味着你拿到的可能不是最新的书本;如果读一致性要求为QUORUM(即读取任一数据中心中quorum数量的节点的结果,返回合并后timestamp最新的结果),则内核会自动触发读修复,然后返回给客户端,也就是图书管理员帮你对比新旧之后取到了最新的书本,假如此时有副本所在节点出现坏盘,且在一定的周期内没有完成数据修复,那么在业务查询时,查到的数据会不准确。
GaussDB(for Cassandra)如何实现数据强一致?
GaussDB(for Cassandra)则采用存算分离架构来攻克数据不一致的难关,数据的副本一致性由DFV存储平台来保证,对计算节点来说数据单副本、数据强一致,查询命令下发后,协调节点直接从数据节点取数据即可完成。另外支持N-1个节点故障容忍,在系统故障重构或备份恢复时,GaussDB(for Cassandra)能提供10倍于开源Cassandra的性能。
GaussDB(for Cassandra)有哪些使用价值?
1、在工业制造&气象业,支持PB级数据量,实时精准预测天气
随着科技进步,采集的气象数据指数增长,GaussDB(for Cassandra)可以应对降雨量、湿度、温度等PB级的数据量,支持高并发写入读取;还可以为气象算法、天气预报做到实时在线精准分析;进行离线数据分析时,可以实现分析时长缩短60%。

2、在互联网领域,支持用户画像、推荐系统,打造更好的用户体验平台
GaussDB(for Cassandra)具备高并发写入性能和高可扩展性,可保障业务的高可用和稳定性。例如:存放用户画像数据场景,可完美解决数据量大、数据结构Scheme频繁变更等场景;推荐系统中,可分析用户最近的浏览数据,然后推荐相关资源。

3、支持实时数据分析、离线分析,离线分析时长缩短60%,效率大幅提升
GaussDB(for Cassandra)提供Stream功能,能对数据的变更做实时在线分析,还可以实现秒级的实时响应,这都是开源Cassandra所不具备的能力。比如某店铺有新用户注册了会员,系统自动向该会员推送商品优惠活动。此外,由于离线分析时长缩短60%,也为商家争取了更多的决策时间。

Stream功能支撑实时分析原理图
华为云GaussDB(for Cassandra)正是依托于存算分离架构,才保证了查询准确率、规避了数据不一致修复数据造成的人力成本,才使得GaussDB(for Cassandra)在制造业、物流、医疗保健、房地产、能源生产、农业等领域非常受欢迎,因此,DBA们无需忧心数据修复、数据丢失等问题只需探索专业领域里的星辰大海。
作为华为ICT基础设施业务面向全球开发者的年度盛会,华为开发者大会2021(Cloud)将于2021年4月24日-26日在深圳举行。本届大会以#每一个开发者都了不起#为主题,将汇聚业界大咖、华为科学家、顶级技术专家、天才少年和众多开发者,共同探讨和分享云、计算、人工智能等最新ICT技术在行业的深度创新和应用。智能时代,每一个开发者都在创造一往无前的奔腾时代。世界有你,了不起!

点击阅读原文,了解大会详细信息。
有了这个数据强一致“利器”,DBA们轻松修复数据对加班“say no”的更多相关文章
- python数据包之利器scapy用法!
scapy介绍: 在python中可以通过scapy这个库轻松实现构造数据包.发送数据包.分析数据包,为网络编程之利器! scapy安装: pip install scapy ======> ...
- 教你做一个牛逼的DBA(在大数据下)
一.基本概念 大数据量下,搞mysql,以下概念需要先达成一致 1)单库,不多说了,就是一个库 2)分片(sharding),水平拆分,用于解决扩展性问题,按天拆分表 3)复制(replication ...
- 民生银行十五年的数据体系建设,深入解读阿拉丁大数据生态圈、人人BI 是如何养成的?【转】
早在今年的上半年我应邀参加了由 Smartbi 主办的一个小型数据分析交流活动,在活动现场第一次了解到了民生银行的阿拉丁项目.由于时间关系,嘉宾现场分享的内容非常有限.凭着多年对行业研究和对解决方案的 ...
- 数据降维技术(1)—PCA的数据原理
PCA(Principal Component Analysis)是一种常用的数据分析方法.PCA通过线性变换将原始数据变换为一组各维度线性无关的表示,可用于提取数据的主要特征分量,常用于高维数据的降 ...
- 大数据基础知识问答----spark篇,大数据生态圈
Spark相关知识点 1.Spark基础知识 1.Spark是什么? UCBerkeley AMPlab所开源的类HadoopMapReduce的通用的并行计算框架 dfsSpark基于mapredu ...
- 【ODI】| 数据ETL:从零开始使用Oracle ODI完成数据集成(一)
0. 环境说明及软件准备 ODI(Oracle Data Integrator)是Oracle公司提供的一种数据集成工具,能高效地实现批量数据的抽取.转换和加载.ODI可以实现当今大多数的主流关系型数 ...
- IOT大数据大世界大未来,物联网产业大数据应用简析
在物联网时代,面对PB级的数据,企业将难以以一己之力完成基础设施的建设.物联网所产生的大量数据不仅会驱动现在的数据中心发生根本性的变化,同时也会驱动相关企业采用新的大数据策略. 物联网的价值在于数据: ...
- 国云数据:中国版的Snowflake,国内数据中台领导者
[股神巴菲特加持,今年最受关注美股IPO ] 这段时间, 由股神巴菲特54年来首次打新的美股IPO公司Snowflake迅速得到业界重点关注.Snowflake已于2020年9月16日正式上市,发行价 ...
- Tapdata 实时数据融合平台解决方案(三):数据中台的技术需求
作者介绍:TJ,唐建法,Tapdata 钛铂数据 CTO,MongoDB中文社区主席,原MongoDB大中华区 首席架构师,极客时间MongoDB视频课程讲师. 我们讲完了这个中台的一个架构和它的逻 ...
- C# TCP socket发送大数据包时,接收端和发送端数据不一致 服务端接收Receive不完全
简单的c# TCP通讯(TcpListener) C# 的TCP Socket (同步方式) C# 的TCP Socket (异步方式) C# 的tcp Socket设置自定义超时时间 C# TCP ...
随机推荐
- 文心一言 VS 讯飞星火 VS chatgpt (116)-- 算法导论10.3 1题
一.用go语言,画图表示序列(13,4,8,19,5,11),其存储形式为多数组表示的双向链表.同样画出单数组表示的形式. 文心一言: 在Go语言中,我们无法直接画图,但我可以帮助你描述如何使用Go语 ...
- python爬虫入门(1)-开发环境配置
所谓的爬虫,就是通过模拟点击浏览器发送网络请求,接收站点请求响应,获取互联网信息的一组自动化程序. 也就是,只要浏览器(客户端)能做的事情,爬虫都能够做. 现在的互联网大数据时代,给予我们的 ...
- 实用的命令行终端增强软件:Tabby
还是那句话:出众的软件有很多,适合自己的才是最好的. 一.软件介绍 Tabby是一个开源免费软件,支持Windows.macOS和Linux系统.它提供了一个高度可定制的终端界面,可以通过多种方式添加 ...
- MVC(JSP+JavaBean+Servlet)入门实例:用户登陆验证
一.JSP.JavaBean.Servlet的区别 1.JSP:JSP通过在标准的HTML页面中嵌入Java代码,其静态的部分无效Java程序控制,只有那些需要从数据库读取或需要动态生成的页面内容,才 ...
- Vue一些进阶知识-基于官网(笔记)
前言 主要根据vue官网文档完成.对一些平时可能会用到的知识.组件进行收集,为的是对vue的可用性有一个大致的了解.博客中的组件介绍可能只涉及简单用法,完整用法还是以官网为准. 基础 启动过程: 主文 ...
- 四个id 生成器性能比较记录
IdGenerator Seata 优化的雪花算法 Seata基于改良版雪花算法的分布式UUID生成器分析 关于新版雪花算法的答疑 csharp 移植代码 public class IdGenerat ...
- .NET Conf 2023 将在 11 月 15日-17 日 举行 ,附中文日程表
北京时间 11月15-17日,.NET Conf 2023 即将到来!大会上将发布.NET 8, 以今为止运行最快的.NET 平台, .NET Conf 始终致力于为所有与会者创造世界级的.引人入胜的 ...
- Basic concepts of complex number
目录 虚数的引入 复数和虚数的关系 Example - 分辨一个数 判断两个复数是否相等的条件 共轭复数 复数的几何意义.复平面的认识 求复数的模 Reference 虚数的引入 假设有一个数,可以叫 ...
- 初窥门径,从大模型到内容生成看AI新次元
视频云AI进化新纪元. 最近Gartner发布2024年十大战略技术趋势,AI显然成为其背后共同的主题.全民化的生成式人工智能.AI增强开发.智能应用......我们正在进入一个AI新纪元. 从Cha ...
- 七天.NET 8操作SQLite入门到实战 - 第二天 在 Windows 上配置 SQLite环境
前言 SQLite的一个重要的特性是零配置的.无需服务器,这意味着不需要复杂的安装或管理.它跟微软的Access差不多,只是一个.db格式的文件.但是与Access不同的是,它不需要安装任何软件,非常 ...