简介:阿里云实时数仓Hologres年度发布,解读数仓新趋势。

1月7日,阿里云实时数仓Hologres发布最新版本,在成本、可用性、在线高可用等多方面进行了能力升级,行存吞吐提升100%,列存吞吐提升30%,支持行列共存,支持更加丰富的OLAP分析场景,支持Binlog全链路事件驱动加工,原生JSON数据类型和索引,进一步降低开发和运维成本,增强Hologres高并发的在线服务能力。

Hologres是一站式实时数据仓库引擎,支持海量数据实时写入、实时更新、更新及分析、实时分析,支持PB级数据多维分析与即席分析以及高并发低延迟的在线数据服务等,与MaxCompute、Flink、DataWorks深度融合,提供离在线一体化全栈数仓解决方案。

阿里云资深技术专家果贝表示:“随着企业数字化转型的加剧,实时数仓技术开始逐渐从幕后走到台前,被越来越多的企业作为生产系统支撑多种业务场景,一站式、在线化、敏捷化成为实时数仓新的发展趋势”。

数仓建设过程中,开发、运维成本和在线高可用一直是难点和痛点。大数据场景上,处理的数据量和复杂度远高于数据库场景,传统数仓通常是用不同的产品去适用不同的场景,比如ClickHouse常用于OLAP分析,HBase常用于服务场景,无法用一个产品满足所有需求,多套系统非常容易造成架构冗余,运维复杂等问题,导致成本只增不减。同时,随着实时数仓被作为生产系统的广泛使用,业务对系统的可用性和稳定性都提出了更高更严苛的要求,但实时数仓技术要实现生产高可用也需要面临一定的取舍和挑战,比如高性能的同时资源隔离、宕机时的快速恢复能力等,以满足不同场景的SLA。

基于以上问题,Hologres在成本、可用性、在线高可用等多方面进行了能力升级,进一步降低开发和运维成本,增强Hologres高并发的在线服务能力,行存吞吐提升100%,列存吞吐提升30%,支持行列共存,支持更加丰富的OLAP分析场景,支持Binlog全链路事件驱动加工,原生JSON数据类型和索引,加速半结构数据的检索,坚持一个系统解决大数据问题的原则,降本增效,助力服务分析一体化建设。

在生产高可用方面,Hologres重磅发布不同层次的隔离与高可用部署,支持单实例内资源组隔离,实现多租户的计算资源隔离,支持多实例高可用部署(共享存储),实现读写分离和故障隔离,并结合Hologres底层核心调度等能力,实现不同场景生产高可用。此外,Hologres在可用性、生态兼容、企业级运维能力上不断探索和更新,帮助企业实现新一代一站式实时数仓。

据了解,Hologres还多次支持了阿里巴巴双11等大促活动,在2021年阿里巴巴双11期间,经受住了每秒11.2亿条的高速写入,和每秒1.1亿次的查询峰值(包含点查和OLAP查询),创历史记录。

除此之外,Hologres除了支持阿里巴巴的GMV实时大屏等业务外,还支持了实时搜索推荐、菜鸟智能物流、达摩院无人车配送等核心业务场景,这意味着实时数仓技术开始在阿里巴巴核心业务崭露头角,并在性能、生产稳定性等方面经受住了严格的生产考验。

原文链接

本文为阿里云原创内容,未经允许不得转载。

阿里云实时数仓Hologres年度发布,解读数仓新趋势的更多相关文章

  1. 【CDH数仓】Day02:业务数仓搭建、Kerberos安全认证+Sentry权限管理、集群性能测试及资源管理、邮件报警、数据备份、节点添加删除、CDH的卸载

    五.业务数仓搭建 1.业务数据生成 建库建表gmall 需求:生成日期2019年2月10日数据.订单1000个.用户200个.商品sku300个.删除原始数据. CALL init_data('201 ...

  2. 数仓建设 | ODS、DWD、DWM等理论实战(好文收藏)

    本文目录: 一.数据流向 二.应用示例 三.何为数仓DW 四.为何要分层 五.数据分层 六.数据集市 七.问题总结 导读 数仓在建设过程中,对数据的组织管理上,不仅要根据业务进行纵向的主题域划分,还需 ...

  3. 【实时数仓】Day01-数据采集层:数仓分层、实时需求、架构分析、日志数据采集(采集到指定topic和落盘)、业务数据采集(MySQL-kafka)、Nginx反向代理、Maxwell、Canel

    一.数仓分层介绍 1.实时计算与实时数仓 实时计算实时性高,但无中间结果,导致复用性差 实时数仓基于数据仓库,对数据处理规划.分层,目的是提高数据的复用性 2.电商数仓的分层 ODS:原始日志数据和业 ...

  4. 阿里云在云栖大会发布SaaS加速器3.0版最新成果,让天下没有难做的SaaS

    2019年杭州·云栖大会顺利落幕,超过6万人次观展,200余位顶尖科学家分享了前沿技术.作为“阿里云不做SaaS”,坚持“被集成”战略的落地体现,阿里云SaaS加速器在云栖大会现场发布了SaaS加速器 ...

  5. [论文阅读]阿里DIN深度兴趣网络之总体解读

    [论文阅读]阿里DIN深度兴趣网络之总体解读 目录 [论文阅读]阿里DIN深度兴趣网络之总体解读 0x00 摘要 0x01 论文概要 1.1 概括 1.2 文章信息 1.3 核心观点 1.4 名词解释 ...

  6. 基于MaxCompute的数仓数据质量管理

    声明 本文中介绍的非功能性规范均为建议性规范,产品功能无强制,仅供指导. 参考文献 <大数据之路——阿里巴巴大数据实践>——阿里巴巴数据技术及产品部 著. 背景及目的 数据对一个企业来说已 ...

  7. 传统 BI 如何转大数据数仓

    前几天建了一个数据仓库方向的小群,收集了大家的一些问题,其中有个问题,一哥很想去谈一谈--现在做传统数仓,如何快速转到大数据数据呢?其实一哥知道的很多同事都是从传统数据仓库转到大数据的,今天就结合身边 ...

  8. CarbonData:大数据融合数仓新一代引擎

    [摘要] CarbonData将存储和计算逻辑分离,通过索引技术让存储和计算物理上更接近,提升CPU和IO效率,实现超高性能的大数据分析.以CarbonData为融合数仓的大数据解决方案,为金融转型打 ...

  9. Python 3.9 beta2 版本发布了,看看新特性?

    随着 Python 3.9.0b1 的发布,即开发周期中计划的四个 beta 版本的首个,Python 3.9 的功能已经是完善了.在 10 月发布最终版本之前,还会有许多测试和稳定性方面的工作要做. ...

  10. 基于Hive进行数仓建设的资源元数据信息统计:Spark篇

    在数据仓库建设中,元数据管理是非常重要的环节之一.根据Kimball的数据仓库理论,可以将元数据分为这三类: 技术元数据,如表的存储结构结构.文件的路径 业务元数据,如血缘关系.业务的归属 过程元数据 ...

随机推荐

  1. Spring Boot学习日记7

    学会了配置spring boot 导入各种组件 SpringBoot在启动的时候,从类路径下/META-INF/spring.factories获取指定的值 将这些自动配置的类导入容器,自动配置类就会 ...

  2. Python简单程序设计(计算程序设计(存款利息)篇)

    如题: 解题方式如下:

  3. 新零售SaaS架构:线上商城系统架构设计

    零售商家为什么要建设线上商城? 传统的实体门店服务范围有限,只能吸引周边500米以内的消费者.因此,如何拓展服务范围,吸引更多的消费者到店,成为了店家迫切需要解决的问题. 缺乏忠实顾客,客户基础不稳, ...

  4. 记录--Vue2屎山之 Table 屎山

    这里给大家分享我在网上总结出来的一些知识,希望对大家有所帮助 前言 Vue2 将在 2023 年年底停止维护了,但是 Vue2 的代码却不会在 2023 年消失,还会越来越多:难以想象几十万行或者几百 ...

  5. Oracle字符串分隔函数

    记录一下 CREATE OR REPLACE TYPE str_split IS TABLE OF VARCHAR2 (4000); CREATE OR REPLACE FUNCTION splits ...

  6. HashMap集合的map.values()返回的Collection集合执行add方法报空指针问题

    一.方法1. private Collection<String> setPermissionTenant(List<SysPermission> ls, int tenant ...

  7. linux系统centos7.9如何安装nginx

    1.官网下载nginx nginx官网:https://nginx.org/ 选择稳定版进行下载,也可以下载老版本,下载成功后上传到服务器. 2.使用wget下载 访问nginx官网,在下载页面鼠标右 ...

  8. Zotero 插件:DOI Manager 使用

    一.项目信息与下载安装 https://github.com/bwiernik/zotero-shortdoi 根据readme,下载并安装即可.可能访问会失败,多试几次,总是能够成功的. 本博客编写 ...

  9. 诚邀报名丨首期OpenHarmony开发者成长计划分享日

     OpenAtom OpenHarmony(以下简称"OpenHarmony")开源开发者成长计划,是一项为了鼓励开发者积极参与开源软件的开发维护.帮助开发者在开源项目中成长的社会 ...

  10. 深入浅出 C 语言:学变量、掌控流程、玩指针,全方位掌握 C 编程技能

    C 语言简介 C 语言介绍 C 语言的特性 C 语言相对于其他语言的优势 C 程序的编译 C 中的 Hello World 程序 参考文章: C 语言入门:如何编写 Hello World C 语言函 ...