立体视觉 StereoVision

双目相机

　　原理

　　【深度相机系列三】深度相机原理揭秘--双目立体视觉

　　StereoVision--立体视觉（1）

　　StereoVision--立体视觉（2）

　　StereoVision--立体视觉（3）

相机标定

　　标定

图像校正

立体匹配

　　

• 匹配代价计算（Matching Cost Computation:CC）
• 代价聚合（Cost Aggregation:CA）
• 视差计算（Disparity Computation ）
• 视差精化（Disparity Refinement ）：对上一步得到的粗估计的视差图进行精确计算，策略有很多，例如plane fitting，BP，动态规划等。这里不再熬述。

全局匹配算法得到的结果比较准确，但是其运行时间比较长，不适合实时运行。主要的算法有图割（graph cuts）、信念传播（belief propagation）、动态规划（Dynamic Programming ）等算法。

局部匹配算法基本原理是给定在一幅图像上的某一点，选取该像素点邻域内的一个子窗口，在另一幅图像中的一个区域内，根据某种相似性判断依据，寻找与子窗口图像最为相似的子图，而其匹配的子图中对应的像素点就为该像素的匹配点。通常方法有SAD、SSD、NCC等等。

视差计算 Disparity map

深度计算 Depth map

多视角立体视觉 MVS

　　多视角立体视觉简介（仅限初学者）

　　

三维重建

　　

作者：深蓝学院
链接：https://www.zhihu.com/question/53565660/answer/475141180
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

针对初学者

书籍I Computer Vision for Visual Effects

书籍II Computer Vision Algorithms and Applications

针对具备一定基础的同学

三维重建的每个基础模块挑选了 1-2 篇代表性文献，强烈建议阅读以下相关的原著文献， 这些文献是经过时间检验非常经典的文献，这将大大提升你们的科研和工程能力。 这些文章包括：

Sift 特征点检测

[1] Distinctive Image Features from Scale-Invariant Keypoints

增量 SFM

[2] Photo Tourism Exploring Photo Collections in 3D

[3] Structure-from-Motion Revisited

稠密匹配&&多视角立体视觉

[4] Multi-View Stereo for Community Photo Collections

表面重建

[5] Reconstruction and Representation of 3D Objects with Radial Basis

纹理贴图

[6] Let it be color! Large-Scale Texturing of 3D Reconstructions

相关网站

我们也提供一些相关的网站，这些网站是一些比较著名的开源系统。

MVE: https://www.gcc.tu-darmstadt.de/home/proj/mve/index.en.jsp

Bundler: http://www.cs.cornell.edu/~snavely/bundler/

VisualSFM: http://ccwu.me/vsfm/

OpenMVG: https://openmvg.readthedocs.io/en/latest/software/SfM/SfM/

ColMap: https://demuc.de/colmap/

相关的开源代码

https://github.com/colmap/colmap

https://github.com/simonfuhrmann/mve

https://github.com/nmoehrle/mvs-texturing

https://github.com/jianxiongxia

Ref:

https://www.bilibili.com/video/BV1pk4y167eE 小亮

https://www.zhihu.com/question/53565660

SFM - Structure from Motion, 用一个移动的单目相机拍的照片可以得到深度信息，也可以用来做三维重建

SLAM - 同时定位和建图，和SFM解决同样的问题，只是强调了同时，就是实时性

Image Rectification - 图像矫正是通过分别对两张图片用单应（homography）矩阵变换（可以通过标定获得）得到的

Ref:

1. 　　立体视觉算法汇总|单目、双目、多目
2. 立体匹配算法原理与应用-奥比中光 讲了各种代价函数，E2E 各种网络