多模态自动驾驶混合渲染HRMAD：将NeRF和3DGS进行感知验证和端到端AD测试

基于3DGS和NeRF的三维重建技术在过去的一年中取得了快速的进步，动态模型也变得越来越普遍，然而这些模型仅限于处理原始轨迹域内的对象。

HRMAD作为一种混合方案，将传统的基于网格的动态三维神经重建和物理渲染优势结合，支持在任意位置部署网格动态代理，自由调整环境条件，在多个相机视角下进行自由切换，与传统仿真方法相比有效减少了领域差距，同时保留了可控性。

一、方法描述

HRMAD提出的NeRF2GS双模型训练范式显著提升了合成质量，尤其是道路和车道标志，同时满足交互式帧率。通过此块级并行训练架构，可以处理超过10万平方米场景重建，并同步传输出分割掩膜/法线图/深度图。通过物理光栅化/光线追踪渲染后端，HRMAD支持多个相机模型、LiDAR和Radar的实时多模态输出。如图1所示的模型架构。

图1

具体而言，HRMAD基于RGB相机、GNSS和LiDAR的同步数据进行模型训练。该方案结合了NeRF优秀的泛化能力和3DGS实时的渲染速度，通过T-S结构，将NeRF生成的深度、法线和外观监督信息传递给3DGS模型，并通过正则化将LiDAR深度数据引入NeRF，从而实现更准确的几何结构建模。

传统基于透视投影的渲染方法通常依赖于特定的投影模型，为了在3DGS场景中适配任意传感器，HRMAD提出了一种新的渲染算法架构，如下图2所示。

图2

该架构基于共享代码库实现了光栅化和光线追踪渲染，用于计算高斯沿射线的贡献。这样不仅能够在三维重建场景中支持任意相机畸变模型，还能够减轻LiDAR仿真中伪影的产生。图3展示了在aiSim中采用HRMAD渲染场景并配置LiDAR后，点云的可视化效果。

图3

图4表明HRMAD在极端视角下RGB、深度、法线和分割（基于Mask2Former）模态下的几何细节和表面特性，重建面积约为165000平方米（ZalaZone测试场，此重建场景将于aiSim5.7版本进行发布）。

图4

二、下游任务验证

1、重建质量验证

由于HRMAD采用的是基于双边网格的色彩校正方法，传统的PSNR指标不再适用，而SSIM和LPIPS指标对结果相似性更为敏感，但从结果上看，这两个指标仍然受到ISP解耦导致的RAW与重建图像之间色彩失配的影响。这一影响体现在了评估结果中，如表1，表中对比了原始3DGS和TCLC-GS在6个Waymo场景上的指标表现。

表1

2、语义分割验证

在语义分割上分别从三个角度评估模型性能，首先通过统计所有像素中语义分类一致的比例，反映全局重建一致性。
通过Mask2Former获取真实图像上计算的分割Mask，并与HRMAD-NeRF(Teacher)和HRMAD-NeRF(Student)渲染得到的分割Mask进行比较，验证重建的准确性。同时为了降低道路、天空等易分割区域对整体结果的偏差影响，针对"Car"进行单独IoU计算。

为确保验证过程的公平性，真实图像被重投影至与渲染过程一致的无畸变针孔相机参数空间，当重建结果正确标注了远距离或被遮挡物体，而Mask2Former因输入信息有限导致误判时，此类误差会被计入评估指标。同时在夜间拍摄场景和相机直对太阳的场景中(如场景11037651和14663356)，掩膜一致性显著下降。结果如表2所示。

表2

其次在非常规视角下进行模型渲染，并基于Mask2former生成的Mask与模型预测Mask进行比较。此渲染视角沿自车轨迹生成，并在[-1,3]米范围内平移前视相机仿真模型。表3展示了针对道路表面信息和车辆的重建性能。其中Car类型的重建性能相对较低，这是由于Mask2Frame无法检测远处或被遮挡的物体，从而扩大了差异。图5显了示相关结果，绿色为匹配区域，蓝色和橙色分别表示模型预测Mask和Mask2Former的Mask输出。

表3

图5

最后在极端渲染视角下（高5m，横向偏移2m，向下偏转25°），针对车道线和路沿语义分割结果进行了定性评估，如图6所示。

图6

3、3D目标检测验证

为了验证HRMAD在3D目标检测上的一致性，采用在Waymo Open数据集训练中公开的DEVIANT 3D目标检测模型，进行定量和定性实验。

定量实验中，在Waymo-13469905891836363794片段中从[0,3]横向偏移视角下进行验证，并通过平移变换后的3DBBox定量计算。定性实验选取三个驾驶片段进行静态环境渲染，并基于网格渲染添加动态车辆，主要用于评估仿真生成的车辆是否引入了领域差距。

表4基于Waymo指标进行验证，Original为原始图像。特别在近距离下，HRMAD的表现性能要优于原始图像，这是由于原始图像中假阳FP数量更高。在非常规视角渲染下，观察到的差异主要是横向偏移视角下目标截断的数量增加，但整体检测结果在很大程度上保持一致。

表4

图7为DEVIANT模型在HRMAD渲染Waymo场景中的表现。

图7

三、结语

虽然HRMAD渲染方法旨在最大程度减少区块边界的不连续性，但仍不可避免地会产生可见的伪影，特别是在天空和远距离目标区域中。比如天空的RGB重建效果良好，但在自动驾驶仿真测试场景中，在非常规视角下仍然会导致伪影和结构痕迹。

在下游任务中，HRMAD针对自动驾驶场景的评估结果已非常接近真实数据，但由于样本有限，仍需要更大规模的数据集进行进一步验证。未来的研究也会致力于进一步缩小重建场景和真实数据之间的领域差距，具体来说，可以通过探索层次化高斯泼溅来减少区块伪影，并利用生成的法线信息改进LiDAR强度模拟，来更好地反应点云数据的方向敏感强度。

目前，HRMAD生成场景已集成在aiSim中，可在不同传感器模型配置方案下，实现端到端仿真测试交互式验证和测试。