阿里云实时数仓Hologres年度发布,解读数仓新趋势
简介:阿里云实时数仓Hologres年度发布,解读数仓新趋势。
1月7日,阿里云实时数仓Hologres发布最新版本,在成本、可用性、在线高可用等多方面进行了能力升级,行存吞吐提升100%,列存吞吐提升30%,支持行列共存,支持更加丰富的OLAP分析场景,支持Binlog全链路事件驱动加工,原生JSON数据类型和索引,进一步降低开发和运维成本,增强Hologres高并发的在线服务能力。
Hologres是一站式实时数据仓库引擎,支持海量数据实时写入、实时更新、更新及分析、实时分析,支持PB级数据多维分析与即席分析以及高并发低延迟的在线数据服务等,与MaxCompute、Flink、DataWorks深度融合,提供离在线一体化全栈数仓解决方案。
阿里云资深技术专家果贝表示:“随着企业数字化转型的加剧,实时数仓技术开始逐渐从幕后走到台前,被越来越多的企业作为生产系统支撑多种业务场景,一站式、在线化、敏捷化成为实时数仓新的发展趋势”。
数仓建设过程中,开发、运维成本和在线高可用一直是难点和痛点。大数据场景上,处理的数据量和复杂度远高于数据库场景,传统数仓通常是用不同的产品去适用不同的场景,比如ClickHouse常用于OLAP分析,HBase常用于服务场景,无法用一个产品满足所有需求,多套系统非常容易造成架构冗余,运维复杂等问题,导致成本只增不减。同时,随着实时数仓被作为生产系统的广泛使用,业务对系统的可用性和稳定性都提出了更高更严苛的要求,但实时数仓技术要实现生产高可用也需要面临一定的取舍和挑战,比如高性能的同时资源隔离、宕机时的快速恢复能力等,以满足不同场景的SLA。
基于以上问题,Hologres在成本、可用性、在线高可用等多方面进行了能力升级,进一步降低开发和运维成本,增强Hologres高并发的在线服务能力,行存吞吐提升100%,列存吞吐提升30%,支持行列共存,支持更加丰富的OLAP分析场景,支持Binlog全链路事件驱动加工,原生JSON数据类型和索引,加速半结构数据的检索,坚持一个系统解决大数据问题的原则,降本增效,助力服务分析一体化建设。
在生产高可用方面,Hologres重磅发布不同层次的隔离与高可用部署,支持单实例内资源组隔离,实现多租户的计算资源隔离,支持多实例高可用部署(共享存储),实现读写分离和故障隔离,并结合Hologres底层核心调度等能力,实现不同场景生产高可用。此外,Hologres在可用性、生态兼容、企业级运维能力上不断探索和更新,帮助企业实现新一代一站式实时数仓。
据了解,Hologres还多次支持了阿里巴巴双11等大促活动,在2021年阿里巴巴双11期间,经受住了每秒11.2亿条的高速写入,和每秒1.1亿次的查询峰值(包含点查和OLAP查询),创历史记录。
除此之外,Hologres除了支持阿里巴巴的GMV实时大屏等业务外,还支持了实时搜索推荐、菜鸟智能物流、达摩院无人车配送等核心业务场景,这意味着实时数仓技术开始在阿里巴巴核心业务崭露头角,并在性能、生产稳定性等方面经受住了严格的生产考验。
本文为阿里云原创内容,未经允许不得转载。
阿里云实时数仓Hologres年度发布,解读数仓新趋势的更多相关文章
- 【CDH数仓】Day02:业务数仓搭建、Kerberos安全认证+Sentry权限管理、集群性能测试及资源管理、邮件报警、数据备份、节点添加删除、CDH的卸载
五.业务数仓搭建 1.业务数据生成 建库建表gmall 需求:生成日期2019年2月10日数据.订单1000个.用户200个.商品sku300个.删除原始数据. CALL init_data('201 ...
- 数仓建设 | ODS、DWD、DWM等理论实战(好文收藏)
本文目录: 一.数据流向 二.应用示例 三.何为数仓DW 四.为何要分层 五.数据分层 六.数据集市 七.问题总结 导读 数仓在建设过程中,对数据的组织管理上,不仅要根据业务进行纵向的主题域划分,还需 ...
- 【实时数仓】Day01-数据采集层:数仓分层、实时需求、架构分析、日志数据采集(采集到指定topic和落盘)、业务数据采集(MySQL-kafka)、Nginx反向代理、Maxwell、Canel
一.数仓分层介绍 1.实时计算与实时数仓 实时计算实时性高,但无中间结果,导致复用性差 实时数仓基于数据仓库,对数据处理规划.分层,目的是提高数据的复用性 2.电商数仓的分层 ODS:原始日志数据和业 ...
- 阿里云在云栖大会发布SaaS加速器3.0版最新成果,让天下没有难做的SaaS
2019年杭州·云栖大会顺利落幕,超过6万人次观展,200余位顶尖科学家分享了前沿技术.作为“阿里云不做SaaS”,坚持“被集成”战略的落地体现,阿里云SaaS加速器在云栖大会现场发布了SaaS加速器 ...
- [论文阅读]阿里DIN深度兴趣网络之总体解读
[论文阅读]阿里DIN深度兴趣网络之总体解读 目录 [论文阅读]阿里DIN深度兴趣网络之总体解读 0x00 摘要 0x01 论文概要 1.1 概括 1.2 文章信息 1.3 核心观点 1.4 名词解释 ...
- 基于MaxCompute的数仓数据质量管理
声明 本文中介绍的非功能性规范均为建议性规范,产品功能无强制,仅供指导. 参考文献 <大数据之路——阿里巴巴大数据实践>——阿里巴巴数据技术及产品部 著. 背景及目的 数据对一个企业来说已 ...
- 传统 BI 如何转大数据数仓
前几天建了一个数据仓库方向的小群,收集了大家的一些问题,其中有个问题,一哥很想去谈一谈--现在做传统数仓,如何快速转到大数据数据呢?其实一哥知道的很多同事都是从传统数据仓库转到大数据的,今天就结合身边 ...
- CarbonData:大数据融合数仓新一代引擎
[摘要] CarbonData将存储和计算逻辑分离,通过索引技术让存储和计算物理上更接近,提升CPU和IO效率,实现超高性能的大数据分析.以CarbonData为融合数仓的大数据解决方案,为金融转型打 ...
- Python 3.9 beta2 版本发布了,看看新特性?
随着 Python 3.9.0b1 的发布,即开发周期中计划的四个 beta 版本的首个,Python 3.9 的功能已经是完善了.在 10 月发布最终版本之前,还会有许多测试和稳定性方面的工作要做. ...
- 基于Hive进行数仓建设的资源元数据信息统计:Spark篇
在数据仓库建设中,元数据管理是非常重要的环节之一.根据Kimball的数据仓库理论,可以将元数据分为这三类: 技术元数据,如表的存储结构结构.文件的路径 业务元数据,如血缘关系.业务的归属 过程元数据 ...
随机推荐
- .Net依赖注入神器Scrutor(上)
前言 从.Net Core 开始,.Net 平台内置了一个轻量,易用的 IOC 的框架,供我们在应用程序中使用,社区内还有很多强大的第三方的依赖注入框架如: Autofac DryIOC Grace ...
- 记录--vue.config.js 的完整配置(超详细)!
这里给大家分享我在网上总结出来的一些知识,希望对大家有所帮助 前段时间,对部门的个别项目进行Vue3.0+ts框架的迁移,刚开始研究的时候也是踩坑特别多,尤其我们的项目还有些特殊的webpack配置, ...
- 记录--uniapp自定义相机 自定义界面拍照录像闪光灯切换摄像头
这里给大家分享我在网上总结出来的一些知识,希望对大家有所帮助 因公司业务需要,需要开发水印相机功能,而项目代码用的uniapp框架,App端只能简单调用系统的相机,无法自定义界面,在此基础上,只能开发 ...
- Dll堆栈问题(Dll的静态变量与全局变量、vs的MT与MD)
问题引入:dll有一个导出函数,函数参数是string&,string在函数内部被=赋值.在exe动态加载此dll,调用此导出函数后,会崩溃. 原因:如果任何STL类的实现中使用了静态变量(我 ...
- [MAUI]模仿哔哩哔哩的一键三连
@ 目录 创建弧形进度条 绘制弧 准备物料 创建气泡 创建手势 创建交互与动效 项目地址 哔哩哔哩(Bilibili)中用户可以通过长按点赞键同时完成点赞.投币.收藏对UP主表示支持,后UP主多用&q ...
- 运行xxl-job,整合xxl-job至jeecg-boot项目
1.前言:xxl-job是一个分布式任务调度平台,其核心设计目标是开发迅速.学习简单.轻量级.易扩展.现已开放源代码并接入多家公司线上产品线,开箱即用. 源码仓库地址:https://gitee.co ...
- multisim中常见的显示器
multisim中常见的显示器 1.实验原理 multisim中做实验仿真一般需要各种各样的仿真器来模拟实验结果.这里列举几种比较常见的显示器以便后面快速选择. 2.实验操作 (1)LED[二极管] ...
- 算法学习笔记【4】| 动态规划(Atcoder DP 26题)
动态规划(Atcoder DP 26题) on Atcoder on Luogu 洛谷博客观看体验更佳: Atcoder DP contest 题解 Frog 1 $N$ 个石头,编号为 $1,2,. ...
- Windows下获取设备管理器列表信息-setupAPI
背景及问题: 在与硬件打交道时,经常需要知道当前设备连接的硬件信息,以便连接正确的硬件,比如串口通讯查询连接的硬件及端口,一般手工的方式就是去设备管理器查看相应的信息,应用程序如何读取这一部分信息呢, ...
- Java字符数组char和字符串String互相转化
字符串转换为数组 1 String str = "123abc"; 2 char[] arr = str.toCharArray(); // char数组 3 for (int i ...