有了这个数据强一致“利器”,DBA们轻松修复数据对加班“say no”
摘要:不想加班修复数据?强一致的华为云数据库GaussDB(for Cassandra)来了……
本文分享自华为云社区《HDC.Cloud2021|华为云GaussDB让开发者们不再加班修复数据》,原文作者:心机胖。
众所周知,智能时代的来临正是因为开发者们用一行行代码铸就了千行百业向上、向前的阶梯。大到从2G至5G的突破,小到每个技术的由点到面的攻克,每个突破都会成为行业里最新的利器,比如在数据库领域,DBA们苦Cassandra“数据不一致”久矣:
- 一致性级别设为local quorum,查询某个分区键的条数,每次查询,条数都不一样。
- 按这个分区键的token修复,直接瞬间修复结束。但是再查,还是每次查询条数不一致。
- 之前遇到墓碑丢失的问题,单个token查询结果不一致,修复也解决不了
- …..
如今,强一致的华为云数据库GaussDB(for Cassandra)来了,DBA和开发者们再也不用加班修复数据了。
GaussDB(for Cassandra)是一款基于华为自主研发的存算分离架构的分布式云数据库。它是一个强一致性系统,架构基于华为内部强大且广泛使用的自研分布式存储系统DFV,充分发挥了云开源的弹性伸缩、资源共享的优势,它高度兼容Cassandra协议,拥有超强写入性能,同时具有分钟级节点扩容、数据强一致等优势,性能更强,数据更可靠,扩容更敏捷。整体性能是开源自建2~3倍。

开源Cassandra为何不能实现数据强一致?
众所周知,开源Cassandra使用CAP模型中的 AP 放弃了强一致是个既定事实。以开源Cassandra一致性读场景为例:假如你在图书馆的某一排书架上想借阅一本书,假设书架上书本只有新旧之分,本来你想借阅新入馆的书本,但规则是就近取书,这意味着你拿到的可能不是最新的书本;如果读一致性要求为QUORUM(即读取任一数据中心中quorum数量的节点的结果,返回合并后timestamp最新的结果),则内核会自动触发读修复,然后返回给客户端,也就是图书管理员帮你对比新旧之后取到了最新的书本,假如此时有副本所在节点出现坏盘,且在一定的周期内没有完成数据修复,那么在业务查询时,查到的数据会不准确。
GaussDB(for Cassandra)如何实现数据强一致?
GaussDB(for Cassandra)则采用存算分离架构来攻克数据不一致的难关,数据的副本一致性由DFV存储平台来保证,对计算节点来说数据单副本、数据强一致,查询命令下发后,协调节点直接从数据节点取数据即可完成。另外支持N-1个节点故障容忍,在系统故障重构或备份恢复时,GaussDB(for Cassandra)能提供10倍于开源Cassandra的性能。
GaussDB(for Cassandra)有哪些使用价值?
1、在工业制造&气象业,支持PB级数据量,实时精准预测天气
随着科技进步,采集的气象数据指数增长,GaussDB(for Cassandra)可以应对降雨量、湿度、温度等PB级的数据量,支持高并发写入读取;还可以为气象算法、天气预报做到实时在线精准分析;进行离线数据分析时,可以实现分析时长缩短60%。

2、在互联网领域,支持用户画像、推荐系统,打造更好的用户体验平台
GaussDB(for Cassandra)具备高并发写入性能和高可扩展性,可保障业务的高可用和稳定性。例如:存放用户画像数据场景,可完美解决数据量大、数据结构Scheme频繁变更等场景;推荐系统中,可分析用户最近的浏览数据,然后推荐相关资源。

3、支持实时数据分析、离线分析,离线分析时长缩短60%,效率大幅提升
GaussDB(for Cassandra)提供Stream功能,能对数据的变更做实时在线分析,还可以实现秒级的实时响应,这都是开源Cassandra所不具备的能力。比如某店铺有新用户注册了会员,系统自动向该会员推送商品优惠活动。此外,由于离线分析时长缩短60%,也为商家争取了更多的决策时间。

Stream功能支撑实时分析原理图
华为云GaussDB(for Cassandra)正是依托于存算分离架构,才保证了查询准确率、规避了数据不一致修复数据造成的人力成本,才使得GaussDB(for Cassandra)在制造业、物流、医疗保健、房地产、能源生产、农业等领域非常受欢迎,因此,DBA们无需忧心数据修复、数据丢失等问题只需探索专业领域里的星辰大海。
作为华为ICT基础设施业务面向全球开发者的年度盛会,华为开发者大会2021(Cloud)将于2021年4月24日-26日在深圳举行。本届大会以#每一个开发者都了不起#为主题,将汇聚业界大咖、华为科学家、顶级技术专家、天才少年和众多开发者,共同探讨和分享云、计算、人工智能等最新ICT技术在行业的深度创新和应用。智能时代,每一个开发者都在创造一往无前的奔腾时代。世界有你,了不起!

点击阅读原文,了解大会详细信息。
有了这个数据强一致“利器”,DBA们轻松修复数据对加班“say no”的更多相关文章
- python数据包之利器scapy用法!
scapy介绍: 在python中可以通过scapy这个库轻松实现构造数据包.发送数据包.分析数据包,为网络编程之利器! scapy安装: pip install scapy ======> ...
- 教你做一个牛逼的DBA(在大数据下)
一.基本概念 大数据量下,搞mysql,以下概念需要先达成一致 1)单库,不多说了,就是一个库 2)分片(sharding),水平拆分,用于解决扩展性问题,按天拆分表 3)复制(replication ...
- 民生银行十五年的数据体系建设,深入解读阿拉丁大数据生态圈、人人BI 是如何养成的?【转】
早在今年的上半年我应邀参加了由 Smartbi 主办的一个小型数据分析交流活动,在活动现场第一次了解到了民生银行的阿拉丁项目.由于时间关系,嘉宾现场分享的内容非常有限.凭着多年对行业研究和对解决方案的 ...
- 数据降维技术(1)—PCA的数据原理
PCA(Principal Component Analysis)是一种常用的数据分析方法.PCA通过线性变换将原始数据变换为一组各维度线性无关的表示,可用于提取数据的主要特征分量,常用于高维数据的降 ...
- 大数据基础知识问答----spark篇,大数据生态圈
Spark相关知识点 1.Spark基础知识 1.Spark是什么? UCBerkeley AMPlab所开源的类HadoopMapReduce的通用的并行计算框架 dfsSpark基于mapredu ...
- 【ODI】| 数据ETL:从零开始使用Oracle ODI完成数据集成(一)
0. 环境说明及软件准备 ODI(Oracle Data Integrator)是Oracle公司提供的一种数据集成工具,能高效地实现批量数据的抽取.转换和加载.ODI可以实现当今大多数的主流关系型数 ...
- IOT大数据大世界大未来,物联网产业大数据应用简析
在物联网时代,面对PB级的数据,企业将难以以一己之力完成基础设施的建设.物联网所产生的大量数据不仅会驱动现在的数据中心发生根本性的变化,同时也会驱动相关企业采用新的大数据策略. 物联网的价值在于数据: ...
- 国云数据:中国版的Snowflake,国内数据中台领导者
[股神巴菲特加持,今年最受关注美股IPO ] 这段时间, 由股神巴菲特54年来首次打新的美股IPO公司Snowflake迅速得到业界重点关注.Snowflake已于2020年9月16日正式上市,发行价 ...
- Tapdata 实时数据融合平台解决方案(三):数据中台的技术需求
作者介绍:TJ,唐建法,Tapdata 钛铂数据 CTO,MongoDB中文社区主席,原MongoDB大中华区 首席架构师,极客时间MongoDB视频课程讲师. 我们讲完了这个中台的一个架构和它的逻 ...
- C# TCP socket发送大数据包时,接收端和发送端数据不一致 服务端接收Receive不完全
简单的c# TCP通讯(TcpListener) C# 的TCP Socket (同步方式) C# 的TCP Socket (异步方式) C# 的tcp Socket设置自定义超时时间 C# TCP ...
随机推荐
- [ABC202E] Count Descendants 题解
Count Descendants 题目大意 给定一颗以 \(1\) 为根的树,多次询问求某点的子树中深度为给定值的点的个数. 思路分析 对于每个深度开一个 vector,从大到小存下这个深度的所有点 ...
- 手撕Vue-实现事件相关指令
经过上一篇文章的学习,实现了界面驱动数据更新,接下来实现一下其它相关的指令,比如事件相关的指令,v-on 这个指令的使用频率还是很高的,所以我们先来实现这个指令. v-on 的作用是什么,是不是可以给 ...
- umich cv-4-2 经典卷积网络架构
这节课中主要讨论了卷积神经网络的发展历史以及几种经典结构是如何构建的 卷积网络经典结构 AlexNet VGG GoogleNet Residual Network AlexNet 在2012年的时候 ...
- 研读Java代码必须掌握的Eclipse快捷键
1. Ctrl+左键 和F3 这个是大多数人经常用到的,用来查看变量.方法.类的定义 跳到光标所在标识符的定义代码.当按执行流程阅读时,F3实现了大部分导航动作. 2 Ctrl+Shift+G 在工作 ...
- Hugging Face 在法国联合启动人工智能创业项目!
Hugging Face.Meta.Scaleway 与法国创业孵化基地 STATION F 合作的人工智能创业项目正式启动 申请截止日期为 12 月 1 日本项目旨在利用开源人工智能的力量来扶持初创 ...
- 文心一言 VS 讯飞星火 VS chatgpt (134)-- 算法导论11.2 6题
六.用go语言,假设将n 个关键字存储到一个大小为 m 且通过链接法解决冲突的散列表中,同时已知每条链的长度,包括其中最长链的长度 L,请描述从散列表的所有关键字中均匀随机地选择某一元素并在 O(L· ...
- 微信小程序记住密码,让登录解放双手
密码是用户最重要的数据,也是系统最需要保护的数据,我们在登录的时候需要用账号密码请求登录接口,如果用户勾选记住密码,那么下一次登录时,我们需要将账号密码回填到输入框,用户可以直接登录系统.我们分别对这 ...
- WPS JS宏
WPS JS宏 1 JS宏基础 1.1 JS宏基础 1.1.1 JS录制新宏 如果在WPS表格中要编写控制表格的代码,却又不知道如何编写,那么可以使用JS录制新宏功能,接下来录制几个常用的操作: 录制 ...
- 小满OKKICRM与金蝶云星空对接集成客户资料
小满OKKICRM与金蝶云星空对接集成客户列表查询(更新列表)&客户新增(小满客户对接金蝶客户-P) 数据源平台:小满OKKICRM 小满科技成立于2013年,是阿里巴巴集团战略投资的高新技术 ...
- 用友NCC产品API使用指南
轻易云用友NCC产品API集成专题 open api简介 Open API即开放API,也称开放平台. 所谓的开放API(OpenAPI)是服务型网站常见的一种应用,网站的服务商将自己的网站服务封装成 ...