Nerf和3DGS神经重建技术在自动驾驶模拟中的应用

验证自动驾驶软件需要数百万公里的测试。这不仅意味着系统开发周期长，而且系统的复杂度也会不断增加，同时，大规模的实车测试也会耗费巨量的资源并且可能会面临未知的安全问题。aiSim这样的虚拟仿真工具可以减轻真实世界测试的负担。

AD和ADAS系统依靠闭环验证来确保安全性和性能。然而，实现闭环评估需要一个能够准确代表真实世界场景的3D环境。虽然这些3D环境可以由3D设计工程师手工构建，但这种方案很难解决Sim2Real的差距并且在可扩展方面存在一定的局限性。为此，本文为您介绍神经重建如何打破限制，在自动驾驶模拟中的具体应用。

一、神经渲染——弥合差距

神经渲染可以利用深度学习技术来缓解这个问题，它可以从一个新的视角上逼真地渲染静态（和动态）环境。当然这种方法也存在一定的优劣点：

1、优点：

（1）高保真的仿真质量：神经渲染可以产生几乎和现实无异的场景，增强现实感。

（2）数据驱动和可扩展：这种方法具有可扩展性，使其适用于实时应用（如3D高斯泼溅）。

2、缺点：

（1）分布外的对象：神经渲染很难将分布外（即以前未见过的）的对象插入 3D 环境中。

（2）伪影对动态物体的影响：伪影可能会影响动态物体的外观。

（3）几何不一致：在深度预测中，可能会出现几何不一致。

二、现有生成模型的挑战

目前的生成模型能够创建高度逼真的图像和视频，但它们在几个方面存在不足，例如:

（1）仅 2D 信息：这些模型不提供 3D 信息，仅在 2D 图像空间中操作。

（2）射影几何的空白：更多内容请参见https://arxiv.org/abs/2311.17138

（3）有限的传感器模态:这些模型不能用于生成其他传感器模态(例如，激光雷达)。

总之，当前的生成模型不适合汽车级验证。

三、康谋混合解决方案：集成式神经重建

为了解决这些限制，aiSim5提供了一种混合方案。在成熟的基于物理的渲染方案中集成最前沿的神经重建技术，使我们能够在任意位置虚拟地插入动态对象，调整环境条件，并渲染以前未见过的相机视角。

通过这种方式，我们能实现以下的功能：

1、虚拟动态内容插入

（1）添加具有逼真光照和环境光遮蔽的动态对象。

（2）模拟如雨、雪、雾等环境效果，以创建更多样化的模拟场景。

2、多模态渲染：

（1）从任意相机视角生成精确的RGB图像、深度图和激光雷达强度图（如下图所示，第一行为GT）。

（2）未来的工作将包括语义分割掩码和雷达仿真。

3、相机虚拟化:

（1）模拟各种虚拟相机设置，包括不同的相机的安装和定向以及模型。

（2）下图展示了模拟的前置鱼眼（左）、前置广角（中）和前置长距（右）相机的渲染效果，这些图像是通过一个没有直接使用前置相机数据训练的模型生产的，也就是说，这些视角并没有专门采集数据进行训练。