Multi-View 3D Reconstruction with Geometry and Shading——Part-2

From PhDTheses Multi-View 3D Reconstruction with Geometry and Shading

---

我们的主要目标是只利用图像中的信息而没有额外的限制或假设来得到物体或场景的三维信息。

我们仅仅假定相机的位姿（位置和姿态），也即是外参和内参，要么已知要么可以很容易地利用运动恢复结构（Structure from Motion, SfM）获得，诸如由缺乏纹理或场景中有对称物体的出现造成的运动恢复结构无法成功获得所需结果的特殊情况，这也意味着这是一个较难计算的数据集，对后续要应用在这些数据上的立体方法也一样。

这里我们的研究重点不局限在基于几何的方法如多视图立体重建方法MVS，也有其他形状重建的技术如阴影恢复形状SfS，因为它弥补了经典基于特征匹配的三角化方法的不足。这两种方法可以融合到一起，利用SfS去校正MVS重建失败的地方，同样用MVS处理SfS无法取得很好效果的区域。在探求这种联系的过程中我们主要解决以下的几个问题：

• 一种新型多视图立体匹配方法。我们利用最新并行计算的方法设计一种算法，发行了开源软件Gipuma，尤其综合考虑了重建的精度、运算速度以及较小的空间消耗。
• 我们分析了如何利用新兴的深度学习技术的潜能构建一个新的针对多幅图像的相似性方程。这种新的方法通过考虑参考相机与其他视角一视同仁，不把当前参考图像的视角作为比其它视角贡献更多的角色，改善了精度，同时避免了遮挡问题。
• 我们探索了如何构建一个反射模型，不需要考虑对场景任何形式的假设，而不是像常用的经典的SfS方法那样假设光源数量已知，无限远点光源等等。因此我们想要构建的模型是一个自监督或者更通俗地说无监督的判别模型，专门作了相应调整使其对每一个物体和视角具有相同的效果。新提出的明暗信息模型可以和经典基于立体的方法结合起来从而获得更高精度的重建效果。