3DRealCar: An In-the-wild RGB-D Car Dataset with 360-degree Views

3DRealCar：An In-the-wild RGB-D Car Dataset with 360-degree Views

Du, Xiaobiao and Sun, Haiyang and Wang, Shuyun and Wu, Zhuojie and Sheng, Hongwei and Ying

来自很多单位，其中企业所在单位是Li Auto

项目地址： https://xiaobiaodu.github.io/3drealcar/

git code： https://github.com/xiaobiaodu/3DRealCar_Dataset

本文主要是介绍自己的数据集，大概一共有2500辆车的图像，每辆车平均200张图，来自不同的角度拍摄的清晰图，这个数据集，可以用来做很多事情，比如给2d检测做数据扩充，给3d重建、3d场景生成，3d特殊场景模拟等提供数据。该数据是至今为止最大的数据集了吧，别的公开数据集都很少数量，或者质量不高。同时作者通过实验验证了数据的作用。

实验验证的流程如下：

1. framework

从图中可以看到用到的模块很多，其中包括Grounding dino + SAM完成bg, fg的分割， Colmap生成 point clouds，而后基于3dgs生成 3d cars

代码里只有前面数据预处理部分，3DGS部分不包含，需要自己搭建。即只包含以下部分中去掉3dgs的部分，

2.和street gaussian对比分析

和 Street Gaussians: Modeling Dynamic Urban Scenes with Gaussian Splatting，也是来自Li auto的工作，是zju和Li auto一起合作的工作，两者其实区别蛮多的，

共同点：

都是用3d gaussian对物体进行建模的； 都是对adas场景进行处理； 都用到了额外的point cloud而不是只有SFM产生的。

不同点：

street gaussian是场景下建模，是减去背景后留下前景，背景用一种建模方式球谐函数介绍（Spherical Harmonics），前景用一种建模方式 dynamic spherical
harmonics model 动态球谐函数介绍（Spherical Harmonics）。因此，这个过程中有前景有背景。对背景进行了建模，也对前景进行了建模。结果比较模糊，好像没办法把单独某个目标拿出来？这种方式是场景重建，但是不能对单个目标拿出来放到别的地方使用，或者是不知道怎么用？

3drealdata是用分割的形式去掉背景，留下前景，而后用3d gaussian对前景进行建模。只重建前景目标。同一个目标图像更丰富，结果更加清晰，可以旋转大角度，这种方式生成的数据可以把车辆放到任何位置或者任意pose下使用。3d real data使用的是标准的gaussian splatting，而street gaussian 是做了改进。