阿里云实时数仓Hologres年度发布,解读数仓新趋势
简介:阿里云实时数仓Hologres年度发布,解读数仓新趋势。
1月7日,阿里云实时数仓Hologres发布最新版本,在成本、可用性、在线高可用等多方面进行了能力升级,行存吞吐提升100%,列存吞吐提升30%,支持行列共存,支持更加丰富的OLAP分析场景,支持Binlog全链路事件驱动加工,原生JSON数据类型和索引,进一步降低开发和运维成本,增强Hologres高并发的在线服务能力。
Hologres是一站式实时数据仓库引擎,支持海量数据实时写入、实时更新、更新及分析、实时分析,支持PB级数据多维分析与即席分析以及高并发低延迟的在线数据服务等,与MaxCompute、Flink、DataWorks深度融合,提供离在线一体化全栈数仓解决方案。
阿里云资深技术专家果贝表示:“随着企业数字化转型的加剧,实时数仓技术开始逐渐从幕后走到台前,被越来越多的企业作为生产系统支撑多种业务场景,一站式、在线化、敏捷化成为实时数仓新的发展趋势”。
数仓建设过程中,开发、运维成本和在线高可用一直是难点和痛点。大数据场景上,处理的数据量和复杂度远高于数据库场景,传统数仓通常是用不同的产品去适用不同的场景,比如ClickHouse常用于OLAP分析,HBase常用于服务场景,无法用一个产品满足所有需求,多套系统非常容易造成架构冗余,运维复杂等问题,导致成本只增不减。同时,随着实时数仓被作为生产系统的广泛使用,业务对系统的可用性和稳定性都提出了更高更严苛的要求,但实时数仓技术要实现生产高可用也需要面临一定的取舍和挑战,比如高性能的同时资源隔离、宕机时的快速恢复能力等,以满足不同场景的SLA。
基于以上问题,Hologres在成本、可用性、在线高可用等多方面进行了能力升级,进一步降低开发和运维成本,增强Hologres高并发的在线服务能力,行存吞吐提升100%,列存吞吐提升30%,支持行列共存,支持更加丰富的OLAP分析场景,支持Binlog全链路事件驱动加工,原生JSON数据类型和索引,加速半结构数据的检索,坚持一个系统解决大数据问题的原则,降本增效,助力服务分析一体化建设。
在生产高可用方面,Hologres重磅发布不同层次的隔离与高可用部署,支持单实例内资源组隔离,实现多租户的计算资源隔离,支持多实例高可用部署(共享存储),实现读写分离和故障隔离,并结合Hologres底层核心调度等能力,实现不同场景生产高可用。此外,Hologres在可用性、生态兼容、企业级运维能力上不断探索和更新,帮助企业实现新一代一站式实时数仓。
据了解,Hologres还多次支持了阿里巴巴双11等大促活动,在2021年阿里巴巴双11期间,经受住了每秒11.2亿条的高速写入,和每秒1.1亿次的查询峰值(包含点查和OLAP查询),创历史记录。
除此之外,Hologres除了支持阿里巴巴的GMV实时大屏等业务外,还支持了实时搜索推荐、菜鸟智能物流、达摩院无人车配送等核心业务场景,这意味着实时数仓技术开始在阿里巴巴核心业务崭露头角,并在性能、生产稳定性等方面经受住了严格的生产考验。
本文为阿里云原创内容,未经允许不得转载。
阿里云实时数仓Hologres年度发布,解读数仓新趋势的更多相关文章
- 【CDH数仓】Day02:业务数仓搭建、Kerberos安全认证+Sentry权限管理、集群性能测试及资源管理、邮件报警、数据备份、节点添加删除、CDH的卸载
五.业务数仓搭建 1.业务数据生成 建库建表gmall 需求:生成日期2019年2月10日数据.订单1000个.用户200个.商品sku300个.删除原始数据. CALL init_data('201 ...
- 数仓建设 | ODS、DWD、DWM等理论实战(好文收藏)
本文目录: 一.数据流向 二.应用示例 三.何为数仓DW 四.为何要分层 五.数据分层 六.数据集市 七.问题总结 导读 数仓在建设过程中,对数据的组织管理上,不仅要根据业务进行纵向的主题域划分,还需 ...
- 【实时数仓】Day01-数据采集层:数仓分层、实时需求、架构分析、日志数据采集(采集到指定topic和落盘)、业务数据采集(MySQL-kafka)、Nginx反向代理、Maxwell、Canel
一.数仓分层介绍 1.实时计算与实时数仓 实时计算实时性高,但无中间结果,导致复用性差 实时数仓基于数据仓库,对数据处理规划.分层,目的是提高数据的复用性 2.电商数仓的分层 ODS:原始日志数据和业 ...
- 阿里云在云栖大会发布SaaS加速器3.0版最新成果,让天下没有难做的SaaS
2019年杭州·云栖大会顺利落幕,超过6万人次观展,200余位顶尖科学家分享了前沿技术.作为“阿里云不做SaaS”,坚持“被集成”战略的落地体现,阿里云SaaS加速器在云栖大会现场发布了SaaS加速器 ...
- [论文阅读]阿里DIN深度兴趣网络之总体解读
[论文阅读]阿里DIN深度兴趣网络之总体解读 目录 [论文阅读]阿里DIN深度兴趣网络之总体解读 0x00 摘要 0x01 论文概要 1.1 概括 1.2 文章信息 1.3 核心观点 1.4 名词解释 ...
- 基于MaxCompute的数仓数据质量管理
声明 本文中介绍的非功能性规范均为建议性规范,产品功能无强制,仅供指导. 参考文献 <大数据之路——阿里巴巴大数据实践>——阿里巴巴数据技术及产品部 著. 背景及目的 数据对一个企业来说已 ...
- 传统 BI 如何转大数据数仓
前几天建了一个数据仓库方向的小群,收集了大家的一些问题,其中有个问题,一哥很想去谈一谈--现在做传统数仓,如何快速转到大数据数据呢?其实一哥知道的很多同事都是从传统数据仓库转到大数据的,今天就结合身边 ...
- CarbonData:大数据融合数仓新一代引擎
[摘要] CarbonData将存储和计算逻辑分离,通过索引技术让存储和计算物理上更接近,提升CPU和IO效率,实现超高性能的大数据分析.以CarbonData为融合数仓的大数据解决方案,为金融转型打 ...
- Python 3.9 beta2 版本发布了,看看新特性?
随着 Python 3.9.0b1 的发布,即开发周期中计划的四个 beta 版本的首个,Python 3.9 的功能已经是完善了.在 10 月发布最终版本之前,还会有许多测试和稳定性方面的工作要做. ...
- 基于Hive进行数仓建设的资源元数据信息统计:Spark篇
在数据仓库建设中,元数据管理是非常重要的环节之一.根据Kimball的数据仓库理论,可以将元数据分为这三类: 技术元数据,如表的存储结构结构.文件的路径 业务元数据,如血缘关系.业务的归属 过程元数据 ...
随机推荐
- 21_显示YUV图片&视频
一.显示YUV图片 显示 YUV 图片和显示 BMP 图片的大致流程是一样的.显示 BMP 图片我们可以直接获取到 BMP 图片的 surface,然后直接从 surface 创建纹理.显示 YUV ...
- WPF多数类概念性注册加自动扫描
在java中springboot的配置应用了自动扫描 @ComponentScan(value = {"com.example", "com.fox"}) 而对 ...
- 记录-关于console你不知道的那些事
这里给大家分享我在网上总结出来的一些知识,希望对大家有所帮助 了解 console ● 什么是 console ? console 其实是 JavaScript 内的一个原生对象 内部存储的方法大部分 ...
- Avalonia发布MacOS运行程序
1 打开xxx.csproj项目文件,添加Dotnet.Bundle包: <PackageReference Include="Dotnet.Bundle" Version= ...
- mybatis @Param参数 记录
报错信息 org.apache.ibatis.binding.BindingException: Parameter 'XX' not found. Available parameters are ...
- C#词云生成器
GitHub - sdcb/Sdcb.WordCloud: Generate WordCloud image from .NET/.NET Core 效果 根据mask生成
- Linux开发相关命令整理
1. 反转shell 2. ldd 3. objdump 4. ldconfig 5. telnet 6. nc 7. netstat 8. ss 9. tcpdump 10. lsof 11. st ...
- multisim的支路及总线设计
Multisim的支路及总线设计 1.实验原理 最近在使用multisim设计时,用到了总线和支路设计,这里记录一下,方便以后查阅相关操作.其中主要是总线的使用和支路连接器的使用. 2.实验操作 (1 ...
- CA:用于移动端的高效坐标注意力机制 | CVPR 2021
论文提出新颖的轻量级通道注意力机制coordinate attention,能够同时考虑通道间关系以及长距离的位置信息.通过实验发现,coordinate attention可有效地提升模型的准确率, ...
- .NET Emit 入门教程:第六部分:IL 指令:2:详解 ILGenerator 辅助方法
前言: 经过前面几大部分的学习,已经掌握了 Emit 的前因后果,今天来详细讲解 Emit 中 IL 的部分内容. 如前文所讲,通过 DynamicMethod(或 MethodBuilder)可获得 ...