从挑战到突破:HBlock定义智算存储新范式!
近日,由DOIT传媒主办,中国计算机学会信息存储专委会、武汉光电国家研究中心、百易存储研究院支持的2024中国数据与存储峰会在北京召开。此次峰会以“智数据 AI未来”为主题,天翼云科技有限公司国际业务事业部存储产品线专家肖夏敏代表参会,并发表“轻量级存储集群控制器HBlock在智算时代的实践分享”主题演讲,与行业伙伴及客户共同探索智算时代全新的存储解决方案,及其行业应用价值。

天翼云科技有限公司
国际业务事业部存储产品线专家 肖夏敏
国云筑基,智算建设新挑战
近年来,天翼云准确把握人工智能发展机遇,全力打造智算云能力体系,在智算资源方面,规划并建设全国“2+3+7+X”公共智算云池。不过,在智算基础设施建设过程中,天翼云也遇到了诸多挑战。
架构挑战
GPU算力的显著差异和分阶段建设需求,使得硬件组合变得复杂,资源调度管理面临困难。
计算挑战
为了满足巨大的算力需求,必须构建大规模的GPU服务器集群,这对计算存储底座性能提出了极高要求。
网络挑战
随着智算集群的扩展,对高带宽互联的需求日益增长,对通信质量、时延和稳定性的要求也更为严格。
存储挑战
在智算场景中,大模型训练需要高效的数据加载和存储能力,对存储系统的性能和容量提出了前所未有的挑战。
对此,天翼云以存储资源盘活系统HBlock,应对AI时代存储新挑战。
创新自研,智算存储新范式
HBlock是轻量级存储集群控制器,采用纯软件用户态设计,兼容异构非对称环境,实现与其他应用的混合部署,充分利用其绿色、轻量、灵活、共生的特性,打造高可用、高可靠、高性能、高利用的存储底座。
HBlock是业界唯一支持在线直接下载安装的分布式存储产品,一小时内即可完成集群搭建和客户端挂载,支持使用异构通用服务器灵活调整存储集群规模,充分发挥存量硬件的潜力。
HBlock的立体容灾机制,可确保数据副本存储在不同的故障域,即使单个故障域整体损坏,卷数据仍然可读写;支持通过其他故障域进行快速数据重建,确保故障后数据快速恢复;单个故障域可写入多个副本,进一步加强数据可靠性。
HBlock的多存储池机制,可将通用服务器性能提升到极限,卷读写时可将数据先写入SSD组成的高速缓存池中,最终无感存入普通硬盘组成的普通存储池中。在用户有少量SSD和大量HDD资源的场景下,可以为用户提供SSD的写入体验和HDD的存储规模。

HBlock的多存储池机制
HBlock可以与并行文件系统混合部署在同一台服务器上,以最少的节点提供高带宽存储服务,助力AI场景落地,主备秒级切换,任何情况都能确保业务不断。用户使用少量通用服务器即可构建高阶存储集群,平替高端磁盘阵列,降低智算池建设成本。
由此,HBlock建立了自主可控的新型智算存储底座,软件完全自研,硬件兼容各种国产服务器,以各种独创自研技术,为智算时代发展中的各类挑战提供了创新解题思路。
降本增效,智存共生新时代
经过多年的积累和实践,天翼云HBlock已为金融、政务、教育等多个行业提供高效稳定的存储支持。
以某公司的智算资源池项目为例,在原本作为计算节点的GPU服务器中部署HBlock,将其转为存储服务器,支持各种异构国产化通用服务器弹性扩容,同时和并行文件服务(HPFS)混合部署,快速完成智算资源池扩容。该方案精简了智算池整体节点数量,实现降本增效的同时,还助推“双碳”目标落地。

某公司智算资源池项目架构图
随着数字化转型的持续深入,各组织单位的数据量不断扩大,绿色存储技术的价值也将持续凸显。未来,天翼云HBlock将持续在更多领域中落地,进一步为智算基础设施建设、行业智能化升级筑牢存储底座,让企业轻装前行,扬帆远航。
从挑战到突破:HBlock定义智算存储新范式!的更多相关文章
- JavaScript中定义变量和存储值的类型判断
以严谨的语法表示作为前提 首先变量被定义,然后给变量赋予一定的值,变量真正的作用就是存储值 变量的定义和赋值 变量的定义: var a 使用关键字var+变量名表示定义一个变量 a 变量的赋值: va ...
- 阿里云HBase推出全新X-Pack服务 定义HBase云服务新标准
2018年12月13日,第八届中国云计算标准和应用大会在京召开,会上阿里云HBase宣布推出全新X-Pack服务,支持SQL.时序.时空.图.全文检索能力.复杂分析,从处理到分析全栈式数据库,客户开箱 ...
- Oracle定义varchar2()类型存储汉字的长度问题
varchar2最大是4000字节,那么就看你的oracle字符集:(select userenv('language') from dual;)如果字符集是16位编码的,ZHS16GBK,那么每个字 ...
- Oracle12c中性能优化&功能增强新特性之重大突破——内存列存储新特性
内存列存储(IM column store) 是Oracle12.1.0.2版本的主要特点.该特点允许列,表,分区和物化视图在内存中以列格式存储,而不是通常的行格式.数据存在内存中的好处显而易见,而列 ...
- 设计模式-Decorator(结构型模式) 用于通过 组合 的方式 给定义的类 添加新的操作,这里不用 继承 的原因是 增加了系统的复杂性,继承使深度加深。
以下代码来源: 设计模式精解-GoF 23种设计模式解析附C++实现源码 //Decorator.h #pragma once class Component { public: virtual ~C ...
- 《2013传智播客视频》-wmv,avi,mp4.目录
\!--14俄罗斯方块\视频\.复习.avi; \!--14俄罗斯方块\视频\ 复习.avi; \!--14俄罗斯方块\视频\ 形状旋转.avi; \!--14俄罗斯方块\视频\ 判断形状能否变形.a ...
- NIPS 2018 | 程序翻译新突破:UC伯克利提出树到树的程序翻译神经网络
NIPS 2018 | 程序翻译新突破:UC伯克利提出树到树的程序翻译神经网络 机器之心 已认证的官方帐号 49 人赞同了该文章 选自arXiv,作者:Xinyun Chen.Chang Liu. ...
- 实例演示使用RDIFramework.NET 框架的工作流组件进行业务流程的定义—请假申请流程-Web
实例演示使用RDIFramework.NET 框架的工作流组件 进行业务流程的定义—请假申请流程-Web 参考文章: RDIFramework.NET — 基于.NET的快速信息化系统开发框架 — 系 ...
- TYVJ1864 守卫者的挑战
P1864 [Poetize I]守卫者的挑战 时间: 1000ms / 空间: 131072KiB / Java类名: Main 描述 打开了黑魔法师Vani的大门,队员们在迷宫般的路上漫无目的地搜 ...
- 浏览器仿EXCEL表格插件 版本更新 - 智表ZCELL产品V1.3发布
智表(zcell)是一款浏览器仿excel表格jquery插件.智表可以为你提供excel般的智能体验,支持双击编辑.设置公式.设置显示小数精度.下拉框.自定义单元格.复制粘贴.不连续选定.合并单元格 ...
随机推荐
- python爬虫 正则表达式详解
正则表达式 最近学校布置了一个关于python爬虫的期末作业,而我之前对python爬虫一直都比较感兴趣但是没有系统的学过,就想借此机会开个新坑来系统学习和应用python爬虫,那我们开始吧 正则表达 ...
- java——棋牌类游戏斗地主(webddz1.0)之一
这是本人最近一段时间写的斗地主的java代码,大体框架都实现了,主要缺少,AI的智能算法. 本版本是在singleddz3.0的基础上修改的,修改为了网络版本. 主要修改代码如下: package c ...
- python之数据库管理工具sandman2
文档:Welcome to sandman2's documentation! - sandman2 0.0.1 documentation [安装] pip install sandman2 安装成 ...
- 抓包工具之Fiddler(详解)
Fiddle简介 Fiddler是最强大最好用的Web调试工具之一,它能记录所有客户端和服务器的http和https请求,允许你监视,设置断点,甚至修改输入输出数据,Fiddler包含了一个强大的基于 ...
- 开源 - Ideal库 - Excel帮助类,ExcelHelper实现(四)
书接上回,前面章节已经实现Excel帮助类的第一步TableHeper的对象集合与DataTable相互转换功能,今天实现进入其第二步的核心功能ExcelHelper实现. 01.接口设计 下面我们根 ...
- Javascript 粘贴板
1.前言 本节讲述如何封装一个操作粘贴板的方法 原理:选中某个Dom元素(比如文本域),执行区域复制命令即可. 相关API:document.execCommand():该方法允许运行命令来操纵可编辑 ...
- 【巧用set实现对有序数组O(logn)时间复杂度增、删、查、改、二分操作】codeforces 1041 C. Coffee Break
题意 第一行输入三个整数 \(n,m,d(1 \leq n \leq 2 * 10^5, n \leq m \leq 10^9, 1 \leq d \leq n)\),第二行输入 \(n\) 个整数, ...
- jacoco代码覆盖率报告分析
一.目的 对Jacoco代码覆盖率统计维度.报告字段说明.报告详细分析描述.并为精准测试.健壮性测试提供指导. 二.Jacoco代码覆盖率统计维度 Jacoco是从代码指令(Instructions, ...
- Jenkins入门使用
Jenkins入门使用 1先安装jdk才能运行jenkins yum install -y java-1.8.0-openjdk.x86_64 2 安装jenkins,运行,进行端口绑定,启动jenk ...
- 波折重重:Linux实时系统Xenomai宕机问题的深度定位
目录 一 前言 二 背景 三 原因分析及措施 硬件原因 应用软件 操作系统 四 分析定位 转机 拨云见雾 irq计数 Schedstat coreclk 现象结论 五 原因一 六 原因二 七 解决 八 ...