简介:阿里云实时数仓Hologres年度发布,解读数仓新趋势。

1月7日,阿里云实时数仓Hologres发布最新版本,在成本、可用性、在线高可用等多方面进行了能力升级,行存吞吐提升100%,列存吞吐提升30%,支持行列共存,支持更加丰富的OLAP分析场景,支持Binlog全链路事件驱动加工,原生JSON数据类型和索引,进一步降低开发和运维成本,增强Hologres高并发的在线服务能力。

Hologres是一站式实时数据仓库引擎,支持海量数据实时写入、实时更新、更新及分析、实时分析,支持PB级数据多维分析与即席分析以及高并发低延迟的在线数据服务等,与MaxCompute、Flink、DataWorks深度融合,提供离在线一体化全栈数仓解决方案。

阿里云资深技术专家果贝表示:“随着企业数字化转型的加剧,实时数仓技术开始逐渐从幕后走到台前,被越来越多的企业作为生产系统支撑多种业务场景,一站式、在线化、敏捷化成为实时数仓新的发展趋势”。

数仓建设过程中,开发、运维成本和在线高可用一直是难点和痛点。大数据场景上,处理的数据量和复杂度远高于数据库场景,传统数仓通常是用不同的产品去适用不同的场景,比如ClickHouse常用于OLAP分析,HBase常用于服务场景,无法用一个产品满足所有需求,多套系统非常容易造成架构冗余,运维复杂等问题,导致成本只增不减。同时,随着实时数仓被作为生产系统的广泛使用,业务对系统的可用性和稳定性都提出了更高更严苛的要求,但实时数仓技术要实现生产高可用也需要面临一定的取舍和挑战,比如高性能的同时资源隔离、宕机时的快速恢复能力等,以满足不同场景的SLA。

基于以上问题,Hologres在成本、可用性、在线高可用等多方面进行了能力升级,进一步降低开发和运维成本,增强Hologres高并发的在线服务能力,行存吞吐提升100%,列存吞吐提升30%,支持行列共存,支持更加丰富的OLAP分析场景,支持Binlog全链路事件驱动加工,原生JSON数据类型和索引,加速半结构数据的检索,坚持一个系统解决大数据问题的原则,降本增效,助力服务分析一体化建设。

在生产高可用方面,Hologres重磅发布不同层次的隔离与高可用部署,支持单实例内资源组隔离,实现多租户的计算资源隔离,支持多实例高可用部署(共享存储),实现读写分离和故障隔离,并结合Hologres底层核心调度等能力,实现不同场景生产高可用。此外,Hologres在可用性、生态兼容、企业级运维能力上不断探索和更新,帮助企业实现新一代一站式实时数仓。

据了解,Hologres还多次支持了阿里巴巴双11等大促活动,在2021年阿里巴巴双11期间,经受住了每秒11.2亿条的高速写入,和每秒1.1亿次的查询峰值(包含点查和OLAP查询),创历史记录。

除此之外,Hologres除了支持阿里巴巴的GMV实时大屏等业务外,还支持了实时搜索推荐、菜鸟智能物流、达摩院无人车配送等核心业务场景,这意味着实时数仓技术开始在阿里巴巴核心业务崭露头角,并在性能、生产稳定性等方面经受住了严格的生产考验。

原文链接

本文为阿里云原创内容,未经允许不得转载。

阿里云实时数仓Hologres年度发布,解读数仓新趋势的更多相关文章

  1. 【CDH数仓】Day02:业务数仓搭建、Kerberos安全认证+Sentry权限管理、集群性能测试及资源管理、邮件报警、数据备份、节点添加删除、CDH的卸载

    五.业务数仓搭建 1.业务数据生成 建库建表gmall 需求:生成日期2019年2月10日数据.订单1000个.用户200个.商品sku300个.删除原始数据. CALL init_data('201 ...

  2. 数仓建设 | ODS、DWD、DWM等理论实战(好文收藏)

    本文目录: 一.数据流向 二.应用示例 三.何为数仓DW 四.为何要分层 五.数据分层 六.数据集市 七.问题总结 导读 数仓在建设过程中,对数据的组织管理上,不仅要根据业务进行纵向的主题域划分,还需 ...

  3. 【实时数仓】Day01-数据采集层:数仓分层、实时需求、架构分析、日志数据采集(采集到指定topic和落盘)、业务数据采集(MySQL-kafka)、Nginx反向代理、Maxwell、Canel

    一.数仓分层介绍 1.实时计算与实时数仓 实时计算实时性高,但无中间结果,导致复用性差 实时数仓基于数据仓库,对数据处理规划.分层,目的是提高数据的复用性 2.电商数仓的分层 ODS:原始日志数据和业 ...

  4. 阿里云在云栖大会发布SaaS加速器3.0版最新成果,让天下没有难做的SaaS

    2019年杭州·云栖大会顺利落幕,超过6万人次观展,200余位顶尖科学家分享了前沿技术.作为“阿里云不做SaaS”,坚持“被集成”战略的落地体现,阿里云SaaS加速器在云栖大会现场发布了SaaS加速器 ...

  5. [论文阅读]阿里DIN深度兴趣网络之总体解读

    [论文阅读]阿里DIN深度兴趣网络之总体解读 目录 [论文阅读]阿里DIN深度兴趣网络之总体解读 0x00 摘要 0x01 论文概要 1.1 概括 1.2 文章信息 1.3 核心观点 1.4 名词解释 ...

  6. 基于MaxCompute的数仓数据质量管理

    声明 本文中介绍的非功能性规范均为建议性规范,产品功能无强制,仅供指导. 参考文献 <大数据之路——阿里巴巴大数据实践>——阿里巴巴数据技术及产品部 著. 背景及目的 数据对一个企业来说已 ...

  7. 传统 BI 如何转大数据数仓

    前几天建了一个数据仓库方向的小群,收集了大家的一些问题,其中有个问题,一哥很想去谈一谈--现在做传统数仓,如何快速转到大数据数据呢?其实一哥知道的很多同事都是从传统数据仓库转到大数据的,今天就结合身边 ...

  8. CarbonData:大数据融合数仓新一代引擎

    [摘要] CarbonData将存储和计算逻辑分离,通过索引技术让存储和计算物理上更接近,提升CPU和IO效率,实现超高性能的大数据分析.以CarbonData为融合数仓的大数据解决方案,为金融转型打 ...

  9. Python 3.9 beta2 版本发布了,看看新特性?

    随着 Python 3.9.0b1 的发布,即开发周期中计划的四个 beta 版本的首个,Python 3.9 的功能已经是完善了.在 10 月发布最终版本之前,还会有许多测试和稳定性方面的工作要做. ...

  10. 基于Hive进行数仓建设的资源元数据信息统计:Spark篇

    在数据仓库建设中,元数据管理是非常重要的环节之一.根据Kimball的数据仓库理论,可以将元数据分为这三类: 技术元数据,如表的存储结构结构.文件的路径 业务元数据,如血缘关系.业务的归属 过程元数据 ...

随机推荐

  1. 21_显示YUV图片&视频

    一.显示YUV图片 显示 YUV 图片和显示 BMP 图片的大致流程是一样的.显示 BMP 图片我们可以直接获取到 BMP 图片的 surface,然后直接从 surface 创建纹理.显示 YUV ...

  2. WPF多数类概念性注册加自动扫描

    在java中springboot的配置应用了自动扫描 @ComponentScan(value = {"com.example", "com.fox"}) 而对 ...

  3. 记录-关于console你不知道的那些事

    这里给大家分享我在网上总结出来的一些知识,希望对大家有所帮助 了解 console ● 什么是 console ? console 其实是 JavaScript 内的一个原生对象 内部存储的方法大部分 ...

  4. Avalonia发布MacOS运行程序

    1 打开xxx.csproj项目文件,添加Dotnet.Bundle包: <PackageReference Include="Dotnet.Bundle" Version= ...

  5. mybatis @Param参数 记录

    报错信息 org.apache.ibatis.binding.BindingException: Parameter 'XX' not found. Available parameters are ...

  6. C#词云生成器

    GitHub - sdcb/Sdcb.WordCloud: Generate WordCloud image from .NET/.NET Core 效果 根据mask生成

  7. Linux开发相关命令整理

    1. 反转shell 2. ldd 3. objdump 4. ldconfig 5. telnet 6. nc 7. netstat 8. ss 9. tcpdump 10. lsof 11. st ...

  8. multisim的支路及总线设计

    Multisim的支路及总线设计 1.实验原理 最近在使用multisim设计时,用到了总线和支路设计,这里记录一下,方便以后查阅相关操作.其中主要是总线的使用和支路连接器的使用. 2.实验操作 (1 ...

  9. CA:用于移动端的高效坐标注意力机制 | CVPR 2021

    论文提出新颖的轻量级通道注意力机制coordinate attention,能够同时考虑通道间关系以及长距离的位置信息.通过实验发现,coordinate attention可有效地提升模型的准确率, ...

  10. .NET Emit 入门教程:第六部分:IL 指令:2:详解 ILGenerator 辅助方法

    前言: 经过前面几大部分的学习,已经掌握了 Emit 的前因后果,今天来详细讲解 Emit 中 IL 的部分内容. 如前文所讲,通过 DynamicMethod(或 MethodBuilder)可获得 ...