利用光场进行深度图估计(Depth Estimation)算法之二——匹配算法

光场相机由于能够捕获相机内部光线的强度和方向而得到整个光场，可以实现重聚焦（refocus）和视角变换等功能。进而可以进行深度估计获取深度图，前面说过利用重聚焦的图像进行深度估计，今天说一下利用不同视角的图像进行深度估计。

仍然是以Lytro Illum为例

由于每一个微透镜后面的15*15个像素能够记录来自主镜头的225条光线信息，因此取每一个微透镜后面同一位置的像素可以得到一个视角下的图像，遍历15*15个像素，就能够得到225个不同视角下的图像。这些图像之间视角上又偏移，即视差，可以使用匹配的方法进行深度的计算。还是以Tao的文献里的算法来说，这次说的是correspondence，就是各个视角下图像的匹配关系。

Tao的算法里是利用整个传感器获得的光场图像进行计算的，图像尺寸为8115*6510（单个视角下的图像尺寸为541*434，也就是微透镜的个数）。只要能够理解坐标之间的关系，这样就不用提取每一个视角的图像了。

先贴一下源文献里的介绍：主要就是这两个公式(4)和(5)，并不复杂。

算法过程如下：

1.重聚焦过程中获取不同像平面下的传感器图像（光场图像8115*6510），一共256幅。

2.对每一幅光场图像，取每一个微透镜后面对应15*15个像素的平均值，然后在窗口内求出方差。这样可以得到一幅方差图（图像尺寸541*434），为了增加鲁棒性，会对方差图做一个均值滤波的操作得到匹配代价图。

3.方差作为匹配代价，针对每一个宏像素点处，遍历所有的匹配代价图，去方差最小的那一幅，记录其索引值（0~255）。

4.根据索引值找到对应的alpha值，从而得到像距V=alpha*F。

5.根据物象公式1/U +1/V = 1/F 就可以求得该像素点处的深度。

博主之前做过双目立体匹配获取视差图（stereo matching），感觉这个匹配的过程有点儿古怪，和stereo matching 不太一样。后来细想，其实还是相通的，只不过融合了refocus后，求深度的过程就简单化了。求方差的过程其实就是计算matching cost ，在微透镜后的窗口内计算方差就是对每一个视角与平均值average进行匹配。而大家知道，重聚焦其实就是shift-sum-average过程，如果微透镜后面的像素点值越接近，那么shift-sum-average后的点就越清晰，否则就会越模糊。方差就能够体现这一重要特性。方差越小，说明该点是重聚焦后所有图像对应位置最清晰的点，也就是在对焦的平面上，这样其实就由转化为了看哪一点最清晰的问题了，和defocus模糊线索殊途同归。

该文献中最后利用马尔科夫随机场MRF对这两种深度图进行了全局优化，目前还没有完全理解，以后理解了再写出来。

现在模糊线索和视差线索都介绍完了，纯属自己看文献和代码的理解，如有错误的地方，还望不吝指教~~~

参考文献

[1] Tao M W, Hadap S, Malik J, et al. Depth from combining defocus and correspondence using light-field cameras[C]//Proceedings of the IEEE International Conference on Computer Vision. 2013: 673-680.

[2] 杨德刚, 肖照林, 杨恒, 等. 基于光场分析的多线索融合深度估计方法[J]. 计算机学报, 2015, 38(12): 002437-2449.