数字人 —— 虚拟人 —— Inworld AI用生成式AI——生成式游戏NPC

相关：

https://www.ithome.com/0/756/603.htm

https://baijiahao.baidu.com/s?id=1774732295233220838

https://www.nvidia.cn/geforce/news/nvidia-ace-gdc-gtc-2024-ai-character-game-and-app-demo-videos/

https://www.youtube.com/watch?v=uryeFhnNzEs

NVIDIA ACE 技术通过我们的平台合作伙伴 (例如 Inworld AI) 提供给游戏开发者使用，并呈现给游戏玩家进行体验。Inworld 的 AI 引擎为开发者提供了一个基础平台，他们可以利用该平台在游戏中构建数字人和角色。

在 GDC 2024 上，Inworld 和 NVIDIA 联合公布了一项全新技术 Demo- Covert Protocol，用于展示 NVIDIA ACE 技术和 Inworld 的 AI 引擎。Covert Protocol 旨在展示通过生成式 AI 可以实现的各种全新类型的游戏体验。在这个技术 Demo 中，您将扮演一名私家侦探，根据与场景中角色的对话结果来完成目标。

Covert Protocol 包括两项集成到 Inworld 角色引擎中的 ACE 技术：NVIDIA Riva 自动语音识别和 NVIDIA Audio2Face。Covert Protocol 基于虚幻引擎 5 开发，利用 Inworld 的虚幻引擎插件，可以更快速简单地使用虚幻引擎 MetaHuman。

数字人技术套件包括由 AI 驱动的语言、语音、动画和图形：

●NVIDIA ACE — 可帮助开发者通过由 NVIDIA Audio2Face驱动的面部动画以及由 NVIDIA Riva 自动语音识别 (ASR) 和文本转语音 (TTS) 驱动的语音交流，让数字人栩栩如生。ACE 微服务非常灵活，允许模型根据本地 GPU 的性能在云端和 PC 上运行，以确保用户获得最佳体验。

●NVIDIA NeMo — 一个端到端平台，可帮助开发者提供企业级的生成式 AI 模型，包括精确的数据管护、先进的模型个性化定制、检索增强生成和加速性能。

●NVIDIA RTX — RTX 全局光照 (RTXGI) 和 DLSS 3.5 等渲染技术的集合，可在游戏和应用中实现实时路径追踪。

NVIDIA公司新推出的一个技术产品，使动画人物的表现更加有个性并且更加像人，可以说这个技术就是使NPC中的角色栩栩如生，在游戏领域增加游戏沉浸感，并通过提供前沿的视觉效果和逼真的动画在数字人对话领域有更好的表现。

具体使用到的NVIDIA技术：

• NVIDIA ACE 技术套件中的 NVIDIA Omniverse Audio2Face 为 NPC 的面部提供实时面部表情（面部动画）和口型同步，提供逼真的面部表情。

• NVIDIA Riva 可实现精确的语音转换文字。

• NVIDIA Animation graph 应用于骨骼动画合成、回放和控制的一个 runtime 框架。其实这就是一个制作动画人物的一个引擎软件，制作好的动画人物是可以具有一定动作的。

• 大语言模型，根据预先给定的上下文（完整的背景）、知识库和不同的对话风格进行语言对话。

总结来说，就是使用“Animation graph”制作出一个动画人物，并用“大语言模型”赋予其语言对话的能力，然后使用“NVIDIA Riva”对游戏参与者（打游戏的人）的麦克风输入的语音转换为文字输入给大语言模型并且将大语言模型的语言回复转为声音外放输出，在和动画人物交互的同时“Audio2Face”会根据对话的语音提供实时的面部表情和口型，总的目标就是让数字人可以更加的逼真。

---

给出一个NVIDIA技术之上构建的一个数字人对话的产品：

https://www.digitalhumans.com/

感觉这个技术确实比之前的那种特别僵硬的“数字人”要好很多，说话的口型也感觉更加的自然，但是总的感觉还是和真人有一定的距离，现在的这个水平感觉和普通动漫电影中的人物表现有些像（甚至要强一些），但是依然没有3D大电影（如：阿凡达，等等）中的数字人那么逼真，当然，和真实人类表现的距离就更远了。

PS. 真理的数字人完全是电脑生成的，动漫的数字人需要人类手动去画细节表现，3D大电影中的人物往往需要真实的人在绿幕前面戴着传感器进行真实的动作表现后采集数据再转为数字人，所以从这个角度来说，这个数字人的表现已经是很不错的，从这个提高生动性的这个目的来看也是可以做到的。