摘要:不想加班修复数据?强一致的华为云数据库GaussDB(for Cassandra)来了……

本文分享自华为云社区《HDC.Cloud2021|华为云GaussDB让开发者们不再加班修复数据》,原文作者:心机胖。

众所周知,智能时代的来临正是因为开发者们用一行行代码铸就了千行百业向上、向前的阶梯。大到从2G至5G的突破,小到每个技术的由点到面的攻克,每个突破都会成为行业里最新的利器,比如在数据库领域,DBA们苦Cassandra“数据不一致”久矣:

  • 一致性级别设为local quorum,查询某个分区键的条数,每次查询,条数都不一样。
  • 按这个分区键的token修复,直接瞬间修复结束。但是再查,还是每次查询条数不一致。
  • 之前遇到墓碑丢失的问题,单个token查询结果不一致,修复也解决不了
  • …..

如今,强一致的华为云数据库GaussDB(for Cassandra)来了,DBA和开发者们再也不用加班修复数据了。

GaussDB(for Cassandra)是一款基于华为自主研发的存算分离架构的分布式云数据库。它是一个强一致性系统,架构基于华为内部强大且广泛使用的自研分布式存储系统DFV,充分发挥了云开源的弹性伸缩、资源共享的优势,它高度兼容Cassandra协议,拥有超强写入性能,同时具有分钟级节点扩容、数据强一致等优势,性能更强,数据更可靠,扩容更敏捷。整体性能是开源自建2~3倍。

开源Cassandra为何不能实现数据强一致?

众所周知,开源Cassandra使用CAP模型中的 AP 放弃了强一致是个既定事实。以开源Cassandra一致性读场景为例:假如你在图书馆的某一排书架上想借阅一本书,假设书架上书本只有新旧之分,本来你想借阅新入馆的书本,但规则是就近取书,这意味着你拿到的可能不是最新的书本;如果读一致性要求为QUORUM(即读取任一数据中心中quorum数量的节点的结果,返回合并后timestamp最新的结果),则内核会自动触发读修复,然后返回给客户端,也就是图书管理员帮你对比新旧之后取到了最新的书本,假如此时有副本所在节点出现坏盘,且在一定的周期内没有完成数据修复,那么在业务查询时,查到的数据会不准确。

GaussDB(for Cassandra)如何实现数据强一致?

GaussDB(for Cassandra)则采用存算分离架构来攻克数据不一致的难关,数据的副本一致性由DFV存储平台来保证,对计算节点来说数据单副本、数据强一致,查询命令下发后,协调节点直接从数据节点取数据即可完成。另外支持N-1个节点故障容忍,在系统故障重构或备份恢复时,GaussDB(for Cassandra)能提供10倍于开源Cassandra的性能。

GaussDB(for Cassandra)有哪些使用价值?

1、在工业制造&气象业,支持PB级数据量,实时精准预测天气

随着科技进步,采集的气象数据指数增长,GaussDB(for Cassandra)可以应对降雨量、湿度、温度等PB级的数据量,支持高并发写入读取;还可以为气象算法、天气预报做到实时在线精准分析;进行离线数据分析时,可以实现分析时长缩短60%。

2、在互联网领域,支持用户画像、推荐系统,打造更好的用户体验平台

GaussDB(for Cassandra)具备高并发写入性能和高可扩展性,可保障业务的高可用和稳定性。例如:存放用户画像数据场景,可完美解决数据量大、数据结构Scheme频繁变更等场景;推荐系统中,可分析用户最近的浏览数据,然后推荐相关资源。

3、支持实时数据分析、离线分析,离线分析时长缩短60%,效率大幅提升

GaussDB(for Cassandra)提供Stream功能,能对数据的变更做实时在线分析,还可以实现秒级的实时响应,这都是开源Cassandra所不具备的能力。比如某店铺有新用户注册了会员,系统自动向该会员推送商品优惠活动。此外,由于离线分析时长缩短60%,也为商家争取了更多的决策时间。

Stream功能支撑实时分析原理图

华为云GaussDB(for Cassandra)正是依托于存算分离架构,才保证了查询准确率、规避了数据不一致修复数据造成的人力成本,才使得GaussDB(for Cassandra)在制造业、物流、医疗保健、房地产、能源生产、农业等领域非常受欢迎,因此,DBA们无需忧心数据修复、数据丢失等问题只需探索专业领域里的星辰大海。

作为华为ICT基础设施业务面向全球开发者的年度盛会,华为开发者大会2021(Cloud)将于2021424-26在深圳举行。本届大会以#每一个开发者都了不起#为主题,将汇聚业界大咖、华为科学家、顶级技术专家、天才少年和众多开发者,共同探讨和分享云、计算、人工智能等最新ICT技术在行业的深度创新和应用。智能时代,每一个开发者都在创造一往无前的奔腾时代。世界有你,了不起!

点击阅读原文,了解大会详细信息。

点击关注,第一时间了解华为云新鲜技术~

有了这个数据强一致“利器”,DBA们轻松修复数据对加班“say no”的更多相关文章

  1. python数据包之利器scapy用法!

    scapy介绍:  在python中可以通过scapy这个库轻松实现构造数据包.发送数据包.分析数据包,为网络编程之利器! scapy安装: pip install scapy   ======> ...

  2. 教你做一个牛逼的DBA(在大数据下)

    一.基本概念 大数据量下,搞mysql,以下概念需要先达成一致 1)单库,不多说了,就是一个库 2)分片(sharding),水平拆分,用于解决扩展性问题,按天拆分表 3)复制(replication ...

  3. 民生银行十五年的数据体系建设,深入解读阿拉丁大数据生态圈、人人BI 是如何养成的?【转】

    早在今年的上半年我应邀参加了由 Smartbi 主办的一个小型数据分析交流活动,在活动现场第一次了解到了民生银行的阿拉丁项目.由于时间关系,嘉宾现场分享的内容非常有限.凭着多年对行业研究和对解决方案的 ...

  4. 数据降维技术(1)—PCA的数据原理

    PCA(Principal Component Analysis)是一种常用的数据分析方法.PCA通过线性变换将原始数据变换为一组各维度线性无关的表示,可用于提取数据的主要特征分量,常用于高维数据的降 ...

  5. 大数据基础知识问答----spark篇,大数据生态圈

    Spark相关知识点 1.Spark基础知识 1.Spark是什么? UCBerkeley AMPlab所开源的类HadoopMapReduce的通用的并行计算框架 dfsSpark基于mapredu ...

  6. 【ODI】| 数据ETL:从零开始使用Oracle ODI完成数据集成(一)

    0. 环境说明及软件准备 ODI(Oracle Data Integrator)是Oracle公司提供的一种数据集成工具,能高效地实现批量数据的抽取.转换和加载.ODI可以实现当今大多数的主流关系型数 ...

  7. IOT大数据大世界大未来,物联网产业大数据应用简析

    在物联网时代,面对PB级的数据,企业将难以以一己之力完成基础设施的建设.物联网所产生的大量数据不仅会驱动现在的数据中心发生根本性的变化,同时也会驱动相关企业采用新的大数据策略. 物联网的价值在于数据: ...

  8. 国云数据:中国版的Snowflake,国内数据中台领导者

    [股神巴菲特加持,今年最受关注美股IPO ] 这段时间, 由股神巴菲特54年来首次打新的美股IPO公司Snowflake迅速得到业界重点关注.Snowflake已于2020年9月16日正式上市,发行价 ...

  9. Tapdata 实时数据融合平台解决方案(三):数据中台的技术需求

    作者介绍:TJ,唐建法,Tapdata 钛铂数据 CTO,MongoDB中文社区主席,原MongoDB大中华区  首席架构师,极客时间MongoDB视频课程讲师. 我们讲完了这个中台的一个架构和它的逻 ...

  10. C# TCP socket发送大数据包时,接收端和发送端数据不一致 服务端接收Receive不完全

    简单的c# TCP通讯(TcpListener) C# 的TCP Socket (同步方式) C# 的TCP Socket (异步方式) C# 的tcp Socket设置自定义超时时间 C# TCP ...

随机推荐

  1. 自定义MyBatis拦截器更改表名

    by emanjusaka from ​ https://www.emanjusaka.top/archives/10 彼岸花开可奈何 本文欢迎分享与聚合,全文转载请留下原文地址. 自定义MyBati ...

  2. 文心一言 VS 讯飞星火 VS chatgpt (119)-- 算法导论10.3 4题

    四.用go语言,我们往往希望双向链表的所有元素在存储器中保持紧凑,例如,在多数组表示中占用前m 个下标位置.(在页式虚拟存储的计算环境下,即为这种情况.)假设除指向链表本身的指针外没有其他指针指向该链 ...

  3. 9.26 多校联测 Day 5 总结

    虽然比赛还没打完,但是因为又罚坐了,提前把总结写出来吧() 看 T1,构造了一会发现大概就是把 b 序列放在 a 的最后面,前面位置填几个数. 先码了暴力,再码正解.但求出来的方案显然不是同一种/fn ...

  4. xlwt基本操作

    xlwt 简介 xlwt 是一个用于在Python中操作Excel文件的库.它允许用户创建.修改和写入Excel文件,支持设置单元格的格式.样式等.以下是一些关键的特性和信息: 创建和写入Excel文 ...

  5. swiper轮播图出现疯狂抖动(小程序)

    swiper轮播图息屏一段时间或快速滑动切换时出现疯狂抖动 以前做小程序项目的时候,没专门测试人员,都是开发者自测,可能我的手机性能比较不错(哈哈)或时机不对,总之没发掘到这个bug:近期做项目,测试 ...

  6. 三菱PLC 轻松数采

    目前市面上数采的软件有很多,但是用的最为省力最为简单的就是kepserver了,在kepserver的应用中,有对应的三菱驱动针对于三菱PLC,三菱驱动支持多个Mitsubishi 协议,包括 MEL ...

  7. 【uniapp】【外包杯】学习笔记day05 | 页面制作+git安装+云存储

    没啥好说的,昨天的任务没有完成,网上说的是一套,我这边出现的情况又是一种,欸...善莫大焉 今天又重新开始搞,有了一点起色,然后用了git进行云存储 明天计划把这个给搞定吧,累发财了 git做完了 在 ...

  8. EMCC13.5+Oracle19.13+Redhat8 In Silent Mode

    问题描述:使用静默的方式来安装emcc13.5+Oracle19.13,准备好19c的oracle环境,一开始用21c的库+emcc13.5的安装检查一直过不去,但是19c是没有问题的,具体问题会在下 ...

  9. 渐进式web全栈:blazor web app

    前言 本文要说的这种开发模式,这种模式并不是只有blazor支持,js中有一样的方案next.js nuxt.js:blazor还有很多其它内容,本文近关注渐进式开发模式. 是的,前后端是主流,不过以 ...

  10. MySQL运维5-Mycat配置

    一.schema.xml 1.1 简介 schema.xml作为Mycat中最重要的配置文件之一,涵盖了Mycat的逻辑库.逻辑表.分片规则.分片节点即数据源的配置.主要包括一下三组标签 schema ...