近年来,随着各行业数智转型逐步深入以及人工智能大模型的蓬勃发展,气象分析、大模型训练、自动驾驶、石油勘探、EDA仿真、基因分析等高性能计算(HPC)场景和智算场景(AI)不仅对算力需求激增,也产生了图片、视频等大规模非结构性数据,企业在实践中面临着数据量大、存储性能不足等问题,导致训练阻塞、算力利用率低甚至训练中断现象频繁发生。在此背景下,企业需要不断创新和优化存储系统技术架构,以便实现更加高效、可靠和灵活的存储解决方案。

作为云服务国家队,天翼云坚持科技创新,不断加快推进数据存储基础设施建设,创新推出并行文件服务HPFS(CT-HPFS,High Performance File Storage),助力企业构建高性能存储底座。天翼云HPFS支持全NVMe闪存和InfiniBand高速网络,并融入RDMA技术,可提供最高千万IOPS和TBps吞吐,同时保证亚毫秒时延。该产品具有高性能、高可靠性、高可扩展性的特点,可充分满足企业在HPC和AI等场景下的存储需求。

天翼云HPFS具备共享访问、弹性扩展、安全可信、性能优越四大产品优势。

在共享访问方面

HPFS支持数千台客户端挂载同一文件系统,从而实现共享访问;无缝适配主流应用程序进行数据读写,满足多客户端并行计算场景需求。

在弹性扩展方面

HPFS元数据采用集群架构,单文件系统文件数量可达百亿级别,文件系统支持在线扩展。

在安全方面

HPFS采用多种EC纠删码方式、热备盘备份来保证数据的可靠性。同时,支持HA,故障时自动切换,服务可用性在99.90%以上,有效保障数据安全。

在性能方面

HPFS使用100G以太网或IB、RoCE网络,性能随文件系统容量增长呈线性提升,同时可保证亚毫秒时延。

天翼云HPFS在高性能并行文件存储方向持续突破,面向HPC/AI场景大规模非结构化数据及性能深度优化,保障用户数据安全、实现高效存储。

在HPC场景,天翼云HPFS支持并行计算MPI-I/O(Message Passing Interface)接口,在多客户端同一时间并发读写同一个文件时,通过字节粒度锁机制,保证文件一致性,大幅提高多客户端读写同一文件的性能。

在AI应用领域,天翼云HPFS支持万亿参数大模型,助力客户构建高速大模型训练平台,根据不同AI业务流程特点,灵活调用存储服务能力,满足数据预处理、训练、仿真等数据存储能力的要求,并大幅提升训练数据读取和checkpoint回写速度,降低企业AI训练成本投入,加速模型迭代。

未来,天翼云将继续加大数据存储产品技术创新,以扎实的数据存储能力,为客户打造高性能存储底座,持续推动技术创新与产业协同发展,为构建安全、高效的数据基础设施贡献力量。

安全、高效!天翼云HPFS助企业一臂之力!的更多相关文章

  1. 玩转云端 | 算力基础设施升级,看天翼云紫金DPU显身手!

    数字时代下,算力成为新的核心生产力,传统以CPU为核心的架构难以满足新场景下快速增长的算力需求,具备软硬加速能力的DPU得以出现并快速发展.天翼云凭借领先的技术和丰富的应用实践自研紫金DPU,打造为云 ...

  2. 七牛云杜江华:让云 + AI 成为企业服务的标配

    12 月 5-6 日,2018 创业邦 100 未来领袖峰会暨创业邦年会(以下简称「创业邦 100 未来领袖峰会」)在北京国家会议中心举行.12 月 5 日下午,七牛云执行副总裁杜江华在企业服务论坛上 ...

  3. 【转帖】IBM发布全新闪存解决方案,助企业存储架构做减法

    IBM发布全新闪存解决方案,助企业存储架构做减法 http://stor-age.zhiding.cn/stor-age/2020/0227/3124851.shtml 感觉 配图弄错了 FlashS ...

  4. 整合SPRING CLOUD云服务架构 - 企业分布式微服务云架构构建

    整合SPRING CLOUD云服务架构 - 企业分布式微服务云架构构建 1.   介绍 Commonservice-system是一个大型分布式.微服务.面向企业的JavaEE体系快速研发平台,基于模 ...

  5. 天翼云 RDS数据库操作

    1.RDS数据库创建好之后点击RDS实例管理找到已下信息 官方文档 -1:http://www.ctyun.cn/help/qslist/567 官方文档 -2:http://www.ctyun.cn ...

  6. SaaS上云工具包为企业应用构筑上云之梯

    导语:本文中,阿里云资深技术专家郑刚将聚焦SaaS上云工具包如何帮助企业上云,包括产品上云.商品上市.服务上心,讲述了SaaS上云工具包为客户和伙伴提供的价值.在SaaS上云工具包整体解决方案的帮助下 ...

  7. 天翼云安装jdk(注意有坑)

    1.下载jdk8 查看Linux位数,到oracle官网下载对应的jdk ① sudo uname --m  确认32位还是64位 ② https://www.oracle.com/technetwo ...

  8. ebook下载 | 灵雀云发布《 企业高管IT战略指南——为何选择容器与Kubernetes》

    发送关键词[高管指南]至灵雀云公众号,立即下载完整版电子书 "本书将提供企业领导者/IT高管应该了解的,所有关于容器技术和Kubernetes的基础认知和关键概念,突破技术语言屏障,全面梳理 ...

  9. 华为云Stack南向开放框架,帮助生态伙伴高效入云

    摘要:CloudBonder的生态社区通过一系列生态项目,解决提交叉组合.架构分层不清晰.运维界面不清晰等问题,简化对接流程,降低生态伙伴对接成本,缩短对接时间. 本文分享自华为云社区<[华为云 ...

  10. 天翼云上新增IP备案具体操作步骤

    0.点击右上角的备案,进入到备案中心 1.已备案信息管理 点击左侧的已备案信息管理,右侧出现的页面中找到已备案网站信息,网站负责人后面的操作里有5个图标,点击第三个(变更接入),提交订单,进入到下一步 ...

随机推荐

  1. element ui Tree树形控件获取未全选父节点和子节点id

    Tree树形控件选中状态 在做分配权限的时候如图选择了父节点的某些子节点,现在父节点是半选中状态,使用this.$refs.tree.getCheckedKeys()只能拿到当前的子节点,子节点全选才 ...

  2. 序列化-serialVersionUID作用

    Serializable接口 作用:标记一个类可以被序列化,如果没有实现该接口,则会抛出异常. ObjectOutputStream中源码: 实验: serialVersionUID 作用:表示一个序 ...

  3. 前端每日一知之web攻击方式

    脑图在线链接 本文内容依据[js每日一题]公众号精彩文章总结而来

  4. GPU服务器常见问题汇总

    目录 Q1.从启动盘安装时黑屏/屏幕卡住? Q2.1T固态硬盘Ubuntu系统磁盘分区策略: Q3.安装Ubuntu需要选择更新吗? Q4.安装Ubuntu后重启无法开机? Q5.首次开机的配置代码? ...

  5. R数据分析:净重新分类(NRI)和综合判别改善(IDI)指数的理解

    对于分类预测模型的表现评估我们最常见的指标就是ROC曲线,报告AUC.比如有两个模型,我们去比较下两个模型AUC的大小,进而得出两个模型表现的优劣.这个是我们常规的做法,如果我们的研究关注点放在&qu ...

  6. ngrx 4: 创建 ngrx 4.x 项目

    创建 @ngrx 4.x 项目 @ngrx 4.x 相比上一个版本有了一些变化,该文介绍了如何在 Angular 中集成 @ngrx r.x 实现状态管理. 一.创建基本项目 使用 Angular C ...

  7. 架构发展趋势以及 d2js 的未来

    目前架构有几个热点方向:微服务, dubbo, Faas,还有 TiDB. 现在开发模式是前后端分离基本成为行规. 应该说以大部分企业业务量级.人员规模来说,要去和淘宝等大厂去对标是非常傻的.对大部分 ...

  8. 权限控制(acl,rbac)

    目录 一.权限控制(acl,rbac) 一.权限控制(acl,rbac) 将来我们编写的项目主要分成两类:公司内部项目和互联网项目 公司内部项目 使用RBAC-基于角色的访问控制 什么是RBAC? R ...

  9. ARGOCD用户管理

    1.创建用户alice kubectl apply -f argocd-cm.yaml apiVersion: v1 kind: ConfigMap metadata: name: argocd-cm ...

  10. 【转载】FISCO BCOS 区块链浏览器的部署

    https://www.cnblogs.com/linbin524/p/11101801.html 前提 前面我们已经通过底层部署.sdk调测.自定义智能合约编写与部署.联合单元测试调测,已经初步对F ...