近日,由DOIT传媒主办,中国计算机学会信息存储专委会、武汉光电国家研究中心、百易存储研究院支持的2024中国数据与存储峰会在北京召开。此次峰会以“智数据 AI未来”为主题,天翼云科技有限公司国际业务事业部存储产品线专家肖夏敏代表参会,并发表“轻量级存储集群控制器HBlock在智算时代的实践分享”主题演讲,与行业伙伴及客户共同探索智算时代全新的存储解决方案,及其行业应用价值。

天翼云科技有限公司

国际业务事业部存储产品线专家 肖夏敏

国云筑基,智算建设新挑战

近年来,天翼云准确把握人工智能发展机遇,全力打造智算云能力体系,在智算资源方面,规划并建设全国“2+3+7+X”公共智算云池。不过,在智算基础设施建设过程中,天翼云也遇到了诸多挑战。

架构挑战

GPU算力的显著差异和分阶段建设需求,使得硬件组合变得复杂,资源调度管理面临困难。

计算挑战

为了满足巨大的算力需求,必须构建大规模的GPU服务器集群,这对计算存储底座性能提出了极高要求。

网络挑战

随着智算集群的扩展,对高带宽互联的需求日益增长,对通信质量、时延和稳定性的要求也更为严格。

存储挑战

在智算场景中,大模型训练需要高效的数据加载和存储能力,对存储系统的性能和容量提出了前所未有的挑战。

对此,天翼云以存储资源盘活系统HBlock,应对AI时代存储新挑战。

创新自研,智算存储新范式

HBlock是轻量级存储集群控制器,采用纯软件用户态设计,兼容异构非对称环境,实现与其他应用的混合部署,充分利用其绿色、轻量、灵活、共生的特性,打造高可用、高可靠、高性能、高利用的存储底座。

HBlock是业界唯一支持在线直接下载安装的分布式存储产品,一小时内即可完成集群搭建和客户端挂载,支持使用异构通用服务器灵活调整存储集群规模,充分发挥存量硬件的潜力。

HBlock的立体容灾机制,可确保数据副本存储在不同的故障域,即使单个故障域整体损坏,卷数据仍然可读写;支持通过其他故障域进行快速数据重建,确保故障后数据快速恢复;单个故障域可写入多个副本,进一步加强数据可靠性。

HBlock的多存储池机制,可将通用服务器性能提升到极限,卷读写时可将数据先写入SSD组成的高速缓存池中,最终无感存入普通硬盘组成的普通存储池中。在用户有少量SSD和大量HDD资源的场景下,可以为用户提供SSD的写入体验和HDD的存储规模。

HBlock的多存储池机制

HBlock可以与并行文件系统混合部署在同一台服务器上,以最少的节点提供高带宽存储服务,助力AI场景落地,主备秒级切换,任何情况都能确保业务不断。用户使用少量通用服务器即可构建高阶存储集群,平替高端磁盘阵列,降低智算池建设成本。

由此,HBlock建立了自主可控的新型智算存储底座,软件完全自研,硬件兼容各种国产服务器,以各种独创自研技术,为智算时代发展中的各类挑战提供了创新解题思路。

降本增效,智存共生新时代

经过多年的积累和实践,天翼云HBlock已为金融、政务、教育等多个行业提供高效稳定的存储支持。

以某公司的智算资源池项目为例,在原本作为计算节点的GPU服务器中部署HBlock,将其转为存储服务器,支持各种异构国产化通用服务器弹性扩容,同时和并行文件服务(HPFS)混合部署,快速完成智算资源池扩容。该方案精简了智算池整体节点数量,实现降本增效的同时,还助推“双碳”目标落地。

某公司智算资源池项目架构图

随着数字化转型的持续深入,各组织单位的数据量不断扩大,绿色存储技术的价值也将持续凸显。未来,天翼云HBlock将持续在更多领域中落地,进一步为智算基础设施建设、行业智能化升级筑牢存储底座,让企业轻装前行,扬帆远航。

从挑战到突破:HBlock定义智算存储新范式!的更多相关文章

  1. JavaScript中定义变量和存储值的类型判断

    以严谨的语法表示作为前提 首先变量被定义,然后给变量赋予一定的值,变量真正的作用就是存储值 变量的定义和赋值 变量的定义: var a 使用关键字var+变量名表示定义一个变量 a 变量的赋值: va ...

  2. 阿里云HBase推出全新X-Pack服务 定义HBase云服务新标准

    2018年12月13日,第八届中国云计算标准和应用大会在京召开,会上阿里云HBase宣布推出全新X-Pack服务,支持SQL.时序.时空.图.全文检索能力.复杂分析,从处理到分析全栈式数据库,客户开箱 ...

  3. Oracle定义varchar2()类型存储汉字的长度问题

    varchar2最大是4000字节,那么就看你的oracle字符集:(select userenv('language') from dual;)如果字符集是16位编码的,ZHS16GBK,那么每个字 ...

  4. Oracle12c中性能优化&功能增强新特性之重大突破——内存列存储新特性

    内存列存储(IM column store) 是Oracle12.1.0.2版本的主要特点.该特点允许列,表,分区和物化视图在内存中以列格式存储,而不是通常的行格式.数据存在内存中的好处显而易见,而列 ...

  5. 设计模式-Decorator(结构型模式) 用于通过 组合 的方式 给定义的类 添加新的操作,这里不用 继承 的原因是 增加了系统的复杂性,继承使深度加深。

    以下代码来源: 设计模式精解-GoF 23种设计模式解析附C++实现源码 //Decorator.h #pragma once class Component { public: virtual ~C ...

  6. 《2013传智播客视频》-wmv,avi,mp4.目录

    \!--14俄罗斯方块\视频\.复习.avi; \!--14俄罗斯方块\视频\ 复习.avi; \!--14俄罗斯方块\视频\ 形状旋转.avi; \!--14俄罗斯方块\视频\ 判断形状能否变形.a ...

  7. NIPS 2018 | 程序翻译新突破:UC伯克利提出树到树的程序翻译神经网络

    NIPS 2018 | 程序翻译新突破:UC伯克利提出树到树的程序翻译神经网络 机器之心 ​ 已认证的官方帐号 49 人赞同了该文章 选自arXiv,作者:Xinyun Chen.Chang Liu. ...

  8. 实例演示使用RDIFramework.NET 框架的工作流组件进行业务流程的定义—请假申请流程-Web

    实例演示使用RDIFramework.NET 框架的工作流组件 进行业务流程的定义—请假申请流程-Web 参考文章: RDIFramework.NET — 基于.NET的快速信息化系统开发框架 — 系 ...

  9. TYVJ1864 守卫者的挑战

    P1864 [Poetize I]守卫者的挑战 时间: 1000ms / 空间: 131072KiB / Java类名: Main 描述 打开了黑魔法师Vani的大门,队员们在迷宫般的路上漫无目的地搜 ...

  10. 浏览器仿EXCEL表格插件 版本更新 - 智表ZCELL产品V1.3发布

    智表(zcell)是一款浏览器仿excel表格jquery插件.智表可以为你提供excel般的智能体验,支持双击编辑.设置公式.设置显示小数精度.下拉框.自定义单元格.复制粘贴.不连续选定.合并单元格 ...

随机推荐

  1. linux找到目录下的大文件

    用这个命令找一下大于800M的文件 find . -type f -size +800M -print0 | xargs -0 ls -lh 非常方便 能看的到哪些文件有多大

  2. Liunx-Shell脚本

    shell可以理解为对命令行的一个解释器,命令行输入命令,shell执行,linux系统输出结果 1. shell脚本格式 开头: #!/bin/bash #!告诉系统其后路径所指定的程序即是解释此脚 ...

  3. Django消息队列之django-rq

    github:https://github.com/rq/django-rq RQ(Redis Queue),人如其名,用 redis 做的队列任务 redis ,众所周知, 它的列表可以做队列,rq ...

  4. ThreeJs-04详解材质与纹理

    一.matcap材质 这个材质不会受到光照影响,但是如果图片本身有光就可以一直渲染这个图片本来的样子,用来将一个图片纹理渲染到物体上的材质 代码实现 加载模型后,开启纹理渲染,并把它的材质变为这个材质 ...

  5. 解析HTML字符串成AST树

    1. 如何将一个字符传转换成一个AST树结构. 直接上代码: const attribute = /^\s*([^\s"'<>\/=]+)(?:\s*(=)\s*(?:" ...

  6. 使用 SemanticKernel 对接 Ollma

    前面的 2 篇文章已经介绍了 ollama 的基本情况.我们也已经能在本地跟 LLM 进行聊天了.但是如何使用代码跟 LLM 进行交互呢?如果是 C# 选手那自然是使用 SK (SemanticKer ...

  7. Java Playwright 浏览器最大化

    Playwright 是一个用于自动化 Web 应用测试的现代工具,支持多种语言(包括 Java)及多个浏览器(如 Chromium.Firefox 和 WebKit).它提供了一致的 API 来控制 ...

  8. uniapp+django 新手学习步骤记录 (1)

    第一次学习uniapp和django,找了一个入门教程遇到坑,记录一下. 1.Django项目和uni-app项目的创建及项目文件讲解_慕容星言的博客-CSDN博客 (1)注意同时安装了python2 ...

  9. 协议Fuzz技术

    文章一开始发表在微信公众号 https://mp.weixin.qq.com/s?__biz=MzUyNzc4Mzk3MQ==&mid=2247486230&idx=1&sn= ...

  10. R数据分析,codewar的年终总结,和一周年总结,寒假快乐呀

    前阵子单位各个部门都在要求弄总结,想想自己这个公众号也写了快一年了,专门回去翻了翻,这个公众号发布的第一篇文章是在2021年的1月17日,我想2022年的1月17日我就把现在敲的文字推出来吧,也算是一 ...