AI 与数据的智能融合丨大模型时代下的存储系统

WOT 全球技术创新大会2024·北京站于 6 月 22 日圆满落幕。本届大会以“智启新纪，慧创万物”为主题，邀请到 60+ 位不同行业的专家，聚焦 AIGC、领导力、研发效能、架构演进、大数据等热门技术话题进行分享。

近年来，数据和人工智能已成为推动各行业创新和增长的关键力量。但如何将数据与人工智能融合，从而创造更大的价值，是企业都在寻找的答案。在 WOT 全球技术创新大会《AI 与数据的智能融合》专场中，来自腾讯云的专家分享了腾讯云在数据管理与人工智能领域的技术成果和成功案例，并探讨二者如何智能融合为企业提供更高效、更智能的数据服务。

大模型时代下的存储系统

在当前时代的发展中，企业正逐步利用大规模的对象存储来构建企业级数据湖和智能存储服务，存储系统正朝着更加弹性、高效和智能的方向发展，以满足企业在数据处理和利用方面日益增长的需求。随着大模型的出现，存储系统还需要满足大模型训练和推理过程中对数据规模、性能和稳定性的多样化需求，以及在处理海量数据的同时保证对高价值数据的高性能访问，实现大规模存储与高性能访问的平衡，确保大模型的高效训练和推理能力。

腾讯云是如何应对多样化的存储需求的呢？首先，腾讯云通过全球基础设施，在 21个地区部署 3200+ 加速节点，为企业提供卓越、稳定的公网接入和传输能力，满足企业安全、高效、可靠的数据迁移需求。在过往的数据迁移案例中，我们曾经支持过数十 PB 甚至上百 PB 数据的稳定迁移。

其次，腾讯云全自研对象存储引擎 YottaStore 能够为大模型训练和推理提供非常坚实的底座支持。在数据接入层面，腾讯云自研了无状态的弹性接入集群，支持丰富的公网接入和弹性伸缩能力；在存储引擎层面，腾讯云提供了原生多 AZ 的特性，提供了高可靠的存储能力；通过元数据分级存储等方式，单集群可以轻松扩展到百 EB 级别。通过深耕软硬件技术优化，腾讯云对象存储一方面可以满足业务不同规模、不同类型的数据存储需求；另一方面，也为业务提供了连续可用的服务，保证数据随时可访问，数据可以永久存储、不坏不丢。

存储系统存在着海量数据，企业如何找到真正需要用的数据？这就需要腾讯云自研的 GooseFS 三级加速服务来提升数据使用效率。GooseFS可以将数据智能存储到内存、计算集群的本地盘、或可用区的全闪存储集群等不同级别的缓存中，提供亚毫秒级的数据访问时延、百万级的IOPS和Tbps级别的吞吐能力，有效提升数据清洗效率。

AI 场景中存在海量文件的存储和访问需求，因此GooseFS 面临着海量元数据存储以及数据亲和性调度的挑战。为了应对海量元数据存储的压力，GooseFS 通过在高性能 KVDB 上实现了元数据分库分表、跨节点硬链等技术手段，有效提升元数据规模和平行扩展能力，当遇到主节点元数据访问故障时，整个元数据的访问可以快速迁移到备节点中。通过这些方式，GooseFS可以为大模型训练场景提供百亿级的热点元数据存储能力，提供百万级 IOPS，并且可以在高压情况下做到秒级故障恢复的能力。

介绍完对象存储COS如何助力大模型框架提效降本，接下来腾讯云存储高级产品经理林楠还介绍了数据万象CI如何利用AI赋能存储系统。

第一个能力是一体化AI审核+存储。在大模型的生产框架中，无论是训练还是推理都会涉及内容安全的问题，因此腾讯云数据万象在存储端提前预置审核能力，通过对用户输入和AIGC模型输出这两个阶段的内容审核，可以充分保障内容安全的合规要求。数据万象的审核能力可以根据数据存储位置智能地调度处理集群，通过近存储侧的处理能力，从而提供更优的数据传输时延和更低的成本。

第二个能力是知识产权保护。现阶段 AIGC 产权并没有明确的标识物，但当 AIGC 的产物被大规模应用时，知识产权保护的需求也会随之而生，这个时候就需要明确声明产出物的模型主权。腾讯云数据万象的数字水印技术提供一站式明暗水印添加能力，可以在图片、视频，文本中嵌入机密信息，保证数字产品的版权保护和侵权溯源。

第三个能力是多模态智能检索。与传统的基于标签的标量检索不同，腾讯云数据万象MetaInsight通过预先计算数据的向量空间并存储于向量数据库中，再利用向量检索技术在向量空间内寻找相似的图片、文本或视频内容，从而实现更精准的全媒体类型跨模态检索能力。MetaInsight支持以文搜图、以图搜图等多种高性能的数据检索手段，覆盖了上千个细分场景，可以帮助客户快速建设检索应用。