康谋分享 | 3DGS：革新自动驾驶仿真场景重建的关键技术

登录后复制

随着自动驾驶技术的迅猛发展，构建高保真、动态的仿真场景成为了行业的迫切需求。传统的三维重建方法在处理复杂场景时常常面临效率和精度的挑战。在此背景下，3D高斯点阵渲染（3DGS）技术应运而生，成为自动驾驶仿真场景重建的关键突破。

一、3DGS技术概述与原理

1、3DGS的技术概述

3DGS是一种基于3D高斯分布的三维场景表示方法。通过将场景中的对象转化为多个3D高斯点，每个点包含位置、协方差矩阵和不透明度等信息，3DGS能够精确地表达复杂场景的几何形状和光照特性。

与传统的神经辐射场（NeRF）方法相比，3DGS在渲染速度和图像质量方面表现出色，弥补了NeRF在动态场景处理和细节保留上的不足。

图1：3DGS重建流程

2、3DGS的技术原理

在3DGS中，首先通过SfM（Structure from Motion）技术进行数据预处理，校准相机位置并恢复其内部和外部参数，生成稀疏点云。然后，基于这些点云初始化一组3D高斯点，每个高斯点的初始位置、协方差矩阵和不透明度都会进行设置。

训练过程中，3DGS通过反向传播不断优化这些高斯点的位置、形状和不透明度。值得注意的是，3DGS采用了自适应密度控制，能够在每次反向传播后去除那些不重要的高斯点，并根据需要对高斯点进行分裂或克隆，以保证场景重建的精度和细节。

图2：训练过程中高斯点的优化

二、3DGS在自动驾驶仿真中的应用

在自动驾驶领域，3DGS技术被广泛应用于高保真仿真场景的重建。通过将多视角图像转化为3D高斯点云，3DGS能够快速、精确地重建复杂的街道场景，为自动驾驶系统的训练和验证提供真实的虚拟环境。例如，Huang等人提出的S³Gaussian方法，通过自监督学习，从4D一致性中分解动态和静态元素，实现了高质量的街道场景重建。

此外，Zhou等人提出的DrivingGaussian方法，针对环视动态自动驾驶场景，发展了基于3D高斯的重建仿真技术。该方法能够有效建模复杂的多尺度背景和前景，提升了自动驾驶系统在复杂环境下的感知能力。

图3：S³Gaussian方法

图4：DrivingGaussian方法

1、3DGS的优势与挑战

（1）优势

高效性：通过显式建模方法，3DGS避免了传统神经网络训练中的计算开销，训练速度更快，渲染效率更高。

精度：3D高斯点可以细致地捕捉场景中的每个细节，从而实现高精度的三维重建。

实时性：3DGS支持实时渲染，适合需要快速响应的应用场景，如自动驾驶仿真。

（2）挑战

场景复杂度：对于极为复杂的三维场景，3DGS可能需要大量的高斯点，这会增加计算负担和内存消耗。

动态场景的支持：目前，3DGS主要集中在静态场景的重建，如何高效地处理动态场景中的物体变化，仍然是一个技术挑战。

三、aiSim的3DGS重建功能

aiSim仿真平台结合3DGS技术，可以提供强大的三维重建功能，极大地提升了自动驾驶仿真测试的效率和精度。

在aiSim中，3DGS被用于从多视角图像中重建复杂的三维场景。aiSim能够精确地捕捉环境的几何形状和光照特性，为自动驾驶系统提供高保真的虚拟环境。这种高精度的三维重建使得自动驾驶算法能够在仿真中进行更为真实的测试，减少了对实际道路测试的依赖。

图5：大FoV相机渲染出现非一致性（左）重建3DGS渲染方案后（右）

aiSim新构建的GGSR通用高斯泼溅渲染器优化了重建场景下光线追踪传感器的渲染效果，增强了广角镜头渲染下的一致性，并能减少伪影的产生，实现高保真度的3DGS重建场景兼容。

在重建的静态场景之上，aiSim支持自定义动态的场景交通流。通过添加动态实体，aiSim可以模拟交通流、行人行为等动态元素，为自动驾驶系统提供更为全面的测试场景。这种动态重建能力使得aiSim在验证自动驾驶系统的泛化能力和应对复杂场景的能力方面，展现出了巨大的优势。

图6：十字路口车辆起步场景

四、结语

3DGS作为一种新兴的三维场景重建技术，凭借其高效、精确和实时的特点，在自动驾驶仿真领域展现出了巨大的潜力。我们有理由相信，未来3DGS将为更多行业带来创新性的解决方案。

▍参考文献

1. 3D Gaussian Splatting for Real-Time Radiance Field Rendering

2. S3Gaussian: Self-Supervised Street Gaussians for Autonomous Driving

3. DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes

我是分享自动驾驶技术的康谋

期待与您的进一步交流