基于MST的立体匹配及相关改进（A Non-Local Cost Aggregation Method for Stereo Matching）

怀着很纠结的心情来总结这篇论文，这主要是因为作者提虽然供了源代码，但是我并没有仔细去深究他的code,只是把他的算法加进了自己的项目。希望以后有时间能把MST这一结构自己编程实现！！

论文题目是基于非局部代价聚类(non-local cost aggregation)的立体匹配，从题目上看这篇论文不是局部算法，但是也不是传统意义上的全局算法。这要从基于窗结构局部立体匹配算法说起，如下图：

我们求左右两幅图像在视差d下一点的cost时，我们实际是求得以该点为中心半径为r的Windows内所有点的cost的平均值。我们把这一过程叫做代价聚类（Cost aggregation），很显然，对与Windows以外的点无法影响该点的Cost，这在纹理特征较低的区域非常容易产生误匹配。本论文的工作就着眼于这个代价聚类上，目标是图像内所有点都对该点传递一个support,距离该点较远的，颜色差别很大的点传递较小的Support。目标有了，应该如何去做呢？本文提出了MST结构。根据MST结构我们知道，当把图像看做是一个四联通区域的图时，图像两点所形成边的权值我们定义为这两点灰度值的差值，这种定义下生成的MST结构正好符合我们的期望。这一做法相当于在局部算法上加了全局性质，所以称之为非局部算法。

更为难得的是这一算法根据作者推倒的公式只需要对MST遍历两次即可得到所有点的代价聚类，算法复杂度显然降低了。

论文主要分为四步，这里主要说一下代价聚类的过程：

我们生成一颗MST后：

根据公式：

分别从叶子节点到顶点以及顶点到叶子节点遍历两次便可得到所有节点的代价聚类值。

其中S（p，q）定义为两点的相似度，D（p，q）定义为两点的距离（MST两点直接的最小路径），为聚类值。分别定义如下：

最后根据聚类结果可以得到未进一步优化的视差图。

最后基于该篇论文的改价算法“Segment-Tree based Cost Aggregation for Stereo Matching”同样得到了较好的效果。先把参考图像进行基于图的分割，然后把分割后形成的子树汇聚利用贪心算法汇聚成一颗树，根据原理，这也是一颗MST。但是在具体实现是遇到了一些问题：

    1，图像分割时我们用到了压缩路径并查集，但这样子树的每一个node都指向了同一个顶点。

    2，子树合并的时候也同样遇到问题，论文中好像是直接把子树的顶点合并。

这俩问题不解决就无法进行下一步的工作，再继续研究吧！！

 

最后附上论文代码链接：http://www.cs.cityu.edu.hk/~qiyang/  他的主页里面大部分论文都提供了代码。