NVIDIA 2024 GTC大会提出的数字孪生技术 —— 工厂3D仿真与AI大模型结合

地址：

https://www.youtube.com/watch?v=JQdyzQdMRS0

Fusing Real-Time AI With Digital Twins

使用NVIDIA的3D仿真环境，为真实的工厂运行情况建立数字仿真环境，即数字孪生，然后使用NVIDIA的AI套件对建立的仿真环境下的运行情况进行AI学习，这里的仿真环境（数字孪生）下的运行情况可以包括组成的工厂运作（物料运输，路径规划等等），也可以是意外情况的发生（仓库物料货架上的物品掉落，等等）。使用AI技术在工厂的数字孪生环境下学习可能是未来的一个发展方向，不过这里也只是可能。

目前来看，数字孪生技术更多的作用是对工厂运作情况进行实时的仿真环境的反馈，以方便管理人员对工厂运作情况有个更好的理解和掌握；目前NVIDIA给出的AI技术结合数字孪生技术（工厂运作情况的3D仿真），在NVIDIA给出的示范例子中主要是物料运送的实时规划（有工人行走挡住了运送小车的路径后实时规划），在数字孪生环境下AI技术可以更加廉价的高性能学习；除了被行人遮挡后的路径规划例子外，NVIDIA还给出了物料架子上物料倾倒导致的路径遮挡，当然这其实也是一种路径遮挡后的重新规划问题，和前面的被路人遮挡其实大致同类。

使用AI技术在数字孪生的仿真环境下学习，然后再部署到实际环境，这个设想是在理论上完全可行的，但是依然有几个问题存在：

1. sim2real与sim2real2sim问题，直白的表述就是如何解决数字孪生仿真环境和真实环境下的gap(差距)，能否是仿真环境下训练的AI算法可以很好的部署到真实环境下，同时能否实现sim与real之间的闭环，也就是可以不断的在sim与real之间迭代的修正算法性能，这或许是AI技术要面临的实际问题。

2. 虽然NVIDIA公司提供了3D建模环境和工具，也提供高性能的硬件平台，软件平台和AI框架算法，但是这就如同你要P图一样，只给你photoshop其实并不是很足够的，因为这只是提供给你工具了而已，重要的是如何使用这个工具。首先要做数字孪生，就需要会3D建模的人，并且这里的建模的仿真环境要求和真实环境高度匹配（要提供给AI算法学习的），再者，NVIDIA所谓的提供软硬件平台和AI框架，其实NVIDIA的硬件价格是极贵的，甚至很多都是禁止我国使用的，而且如果我们使用它们提供的软件和AI框架，那么在具体的软件环境和AI算法上我们是没有主动权的，我们是不掌握的，毕竟NVIDIA作为老牌的商业公司，其所有的商品（包括：软件、硬件、AI算法）都是闭源的，即使你训练出了一个好用的模型，这也就意味着如果你后期要调整工厂的布局、工艺流程等等，你需要重新训练算法的时候你必须接着使用NVIDIA的相关的封闭形式的商用软硬件的，而在如今的中美贸易战的大背景下这是否真的可行也是个问题。

个人的观点是，NVIDIA作为AI技术的领导者之一，同时也是世界上AI硬件最高设计技术的掌握者，我们需要对其最领先的技术进行关注和学习，但是这东西到底能用不能用，或者说是否好用，我们还是要保持冷静的思考才可以，并且我个人目前这这个技术的实际意义和价值是保持观望态度的。