从挑战到突破:HBlock定义智算存储新范式!
近日,由DOIT传媒主办,中国计算机学会信息存储专委会、武汉光电国家研究中心、百易存储研究院支持的2024中国数据与存储峰会在北京召开。此次峰会以“智数据 AI未来”为主题,天翼云科技有限公司国际业务事业部存储产品线专家肖夏敏代表参会,并发表“轻量级存储集群控制器HBlock在智算时代的实践分享”主题演讲,与行业伙伴及客户共同探索智算时代全新的存储解决方案,及其行业应用价值。

天翼云科技有限公司
国际业务事业部存储产品线专家 肖夏敏
国云筑基,智算建设新挑战
近年来,天翼云准确把握人工智能发展机遇,全力打造智算云能力体系,在智算资源方面,规划并建设全国“2+3+7+X”公共智算云池。不过,在智算基础设施建设过程中,天翼云也遇到了诸多挑战。
架构挑战
GPU算力的显著差异和分阶段建设需求,使得硬件组合变得复杂,资源调度管理面临困难。
计算挑战
为了满足巨大的算力需求,必须构建大规模的GPU服务器集群,这对计算存储底座性能提出了极高要求。
网络挑战
随着智算集群的扩展,对高带宽互联的需求日益增长,对通信质量、时延和稳定性的要求也更为严格。
存储挑战
在智算场景中,大模型训练需要高效的数据加载和存储能力,对存储系统的性能和容量提出了前所未有的挑战。
对此,天翼云以存储资源盘活系统HBlock,应对AI时代存储新挑战。
创新自研,智算存储新范式
HBlock是轻量级存储集群控制器,采用纯软件用户态设计,兼容异构非对称环境,实现与其他应用的混合部署,充分利用其绿色、轻量、灵活、共生的特性,打造高可用、高可靠、高性能、高利用的存储底座。
HBlock是业界唯一支持在线直接下载安装的分布式存储产品,一小时内即可完成集群搭建和客户端挂载,支持使用异构通用服务器灵活调整存储集群规模,充分发挥存量硬件的潜力。
HBlock的立体容灾机制,可确保数据副本存储在不同的故障域,即使单个故障域整体损坏,卷数据仍然可读写;支持通过其他故障域进行快速数据重建,确保故障后数据快速恢复;单个故障域可写入多个副本,进一步加强数据可靠性。
HBlock的多存储池机制,可将通用服务器性能提升到极限,卷读写时可将数据先写入SSD组成的高速缓存池中,最终无感存入普通硬盘组成的普通存储池中。在用户有少量SSD和大量HDD资源的场景下,可以为用户提供SSD的写入体验和HDD的存储规模。

HBlock的多存储池机制
HBlock可以与并行文件系统混合部署在同一台服务器上,以最少的节点提供高带宽存储服务,助力AI场景落地,主备秒级切换,任何情况都能确保业务不断。用户使用少量通用服务器即可构建高阶存储集群,平替高端磁盘阵列,降低智算池建设成本。
由此,HBlock建立了自主可控的新型智算存储底座,软件完全自研,硬件兼容各种国产服务器,以各种独创自研技术,为智算时代发展中的各类挑战提供了创新解题思路。
降本增效,智存共生新时代
经过多年的积累和实践,天翼云HBlock已为金融、政务、教育等多个行业提供高效稳定的存储支持。
以某公司的智算资源池项目为例,在原本作为计算节点的GPU服务器中部署HBlock,将其转为存储服务器,支持各种异构国产化通用服务器弹性扩容,同时和并行文件服务(HPFS)混合部署,快速完成智算资源池扩容。该方案精简了智算池整体节点数量,实现降本增效的同时,还助推“双碳”目标落地。

某公司智算资源池项目架构图
随着数字化转型的持续深入,各组织单位的数据量不断扩大,绿色存储技术的价值也将持续凸显。未来,天翼云HBlock将持续在更多领域中落地,进一步为智算基础设施建设、行业智能化升级筑牢存储底座,让企业轻装前行,扬帆远航。
从挑战到突破:HBlock定义智算存储新范式!的更多相关文章
- JavaScript中定义变量和存储值的类型判断
以严谨的语法表示作为前提 首先变量被定义,然后给变量赋予一定的值,变量真正的作用就是存储值 变量的定义和赋值 变量的定义: var a 使用关键字var+变量名表示定义一个变量 a 变量的赋值: va ...
- 阿里云HBase推出全新X-Pack服务 定义HBase云服务新标准
2018年12月13日,第八届中国云计算标准和应用大会在京召开,会上阿里云HBase宣布推出全新X-Pack服务,支持SQL.时序.时空.图.全文检索能力.复杂分析,从处理到分析全栈式数据库,客户开箱 ...
- Oracle定义varchar2()类型存储汉字的长度问题
varchar2最大是4000字节,那么就看你的oracle字符集:(select userenv('language') from dual;)如果字符集是16位编码的,ZHS16GBK,那么每个字 ...
- Oracle12c中性能优化&功能增强新特性之重大突破——内存列存储新特性
内存列存储(IM column store) 是Oracle12.1.0.2版本的主要特点.该特点允许列,表,分区和物化视图在内存中以列格式存储,而不是通常的行格式.数据存在内存中的好处显而易见,而列 ...
- 设计模式-Decorator(结构型模式) 用于通过 组合 的方式 给定义的类 添加新的操作,这里不用 继承 的原因是 增加了系统的复杂性,继承使深度加深。
以下代码来源: 设计模式精解-GoF 23种设计模式解析附C++实现源码 //Decorator.h #pragma once class Component { public: virtual ~C ...
- 《2013传智播客视频》-wmv,avi,mp4.目录
\!--14俄罗斯方块\视频\.复习.avi; \!--14俄罗斯方块\视频\ 复习.avi; \!--14俄罗斯方块\视频\ 形状旋转.avi; \!--14俄罗斯方块\视频\ 判断形状能否变形.a ...
- NIPS 2018 | 程序翻译新突破:UC伯克利提出树到树的程序翻译神经网络
NIPS 2018 | 程序翻译新突破:UC伯克利提出树到树的程序翻译神经网络 机器之心 已认证的官方帐号 49 人赞同了该文章 选自arXiv,作者:Xinyun Chen.Chang Liu. ...
- 实例演示使用RDIFramework.NET 框架的工作流组件进行业务流程的定义—请假申请流程-Web
实例演示使用RDIFramework.NET 框架的工作流组件 进行业务流程的定义—请假申请流程-Web 参考文章: RDIFramework.NET — 基于.NET的快速信息化系统开发框架 — 系 ...
- TYVJ1864 守卫者的挑战
P1864 [Poetize I]守卫者的挑战 时间: 1000ms / 空间: 131072KiB / Java类名: Main 描述 打开了黑魔法师Vani的大门,队员们在迷宫般的路上漫无目的地搜 ...
- 浏览器仿EXCEL表格插件 版本更新 - 智表ZCELL产品V1.3发布
智表(zcell)是一款浏览器仿excel表格jquery插件.智表可以为你提供excel般的智能体验,支持双击编辑.设置公式.设置显示小数精度.下拉框.自定义单元格.复制粘贴.不连续选定.合并单元格 ...
随机推荐
- sql注入--学习笔记_1
实验室 sql sql可以对数据库进行访问和处理:取回数据,删除数据.web页面会使用这些. SQL 能做什么? SQL 面向数据库执行查询 SQL 可从数据库取回数据 SQL 可在数据库中插入新的记 ...
- manim边做边学--圆柱体
Cylinder是Manim中用于创建圆柱体对象的类. Cylinder类在制作数学.物理或工程领域的动画时,可用于以下的场景中: 演示几何概念:使用Cylinder类创建圆柱体,并通过改变其参数和方 ...
- Javascript遍历目录时使用for..in循环无法获取Files对象和SubFolders对象问题的解决方法
1 Javascript遍历目录时使用for..in循环无法获取Files对象和SubFolders对象 1.1 问题场景 在JavaScript中遍历目录,使用for.. in循环时,无法获取到 ...
- Node.js Express 框架(1)
1.Express介绍 Express 是一个简洁而灵活的 node.js Web应用框架, 提供了一系列强大特性帮助你创建各种 Web 应用,和丰富的 HTTP 工具. Express的特点: 实现 ...
- 远程连接利器:玩转MobaXterm
今天这篇文章轻松不烧脑,主要是想和大家分享一下我在工作中常用的远程管理工具--MobaXterm.这款工具不仅功能强大,而且在日常的远程操作中极为高效,特别适合用来管理远程服务器.MobaXterm结 ...
- Gitlab:Restoring PostgreSQL database gitlabhq_production ... ERROR: must be owner of extension pg_trgm
Restoring PostgreSQL database gitlabhq_production ... ERROR: must be owner of extension pg_trgm ERRO ...
- Java 提取字符串中xml格式内容
@ 目录 前言 简介 总结 前言 请各大网友尊重本人原创知识分享,谨记本人博客:南国以南i. 提示:以下是本篇文章正文内容,下面案例可供参考 简介 在Java中,使用正则表达式来提取字符串中的XML格 ...
- 【uni-app】【01】底部导航栏与页面切换
1.(配置文件在哪)uni-app 路由控制是在 pages.json文件中的. 2.(基本配置项有哪些)初学的时候主要有三个配置项,①pages ② globalStyle ③ tabbar [!T ...
- 【Python】【图像处理】图片压缩方法
一直想找个"无损压缩"的办法. 当然这并非真的无损. 我采用了Opencv的处理图像相关的方法. 请见代码: 注意: opencv安装:pip install opencv-pyt ...
- 龙哥量化:macd背离量化的细节问题(图解)
如果您需要代写技术指标公式, 请联系我. 龙哥QQ:591438821 龙哥微信:Long622889 读完本篇,通过解决背离标准量化不清的问题,可以规范背离的使用时机,同时准确过滤假信号,找到真正的 ...