Superpixel Based RGB-D Image Segmentation Using Markov Random Field——阅读笔记

1、基本信息

题目：使用马尔科夫场实现基于超像素的RGB-D图像分割；

作者所属：Ferdowsi University of Mashhad（Iron）

发表：2015 International Symposium on Artificial Intelligence and Signal Processing (AISP)

关键词：微软Kinect传感器；RGB-D图像分割；MRF；法向量

2、摘要

针对问题：能量最小化；

使用场景：室内场景标签问题（分割、分类等）；

主要数据：微软Kinect获得的带有距离信息的图像数据；

主要方法：基于色彩和距离变化对原图进行超像素预处理，使用图像模型处理超像素块，并用MRF推断得到最后的标签结果；

主要结果：NYU的数据，效果更好；

可取与差异：图像模型如何套用在预处理结果的，以及MRF的带入？SAR图像可以得到距离信息，但是否有必要？效率和质量上有没有可取之处？

3、Introduction

--distance，距离因素相比其他rgb等信息，收到的干扰要小/少一点；同样也是因为运用了距离信息进行了超像素预处理（当然也用了色彩的信息），比其他效果要好；

--本文把分割问题看作是一个随机优化问题（另一种常见的看法是该问题是一个确定的优化问题）；

--随机优化又有两种模型：图像模型和其他非图像的模型（用参数或非参的方法得到后延概率）；本文使用著名的后验概率图像模型——MRF——来最小化势能量函数，以得到每个超像素的全局的最优标签；

4、Related works

略。（与自己研究相关的少，主要是3D图像的处理问题，针对性太强，适用面窄，又需要再看吧）

5、MRF

--labeling问题：最大化后验概率p(L|f)，在f特征下的L的最大化——》利用贝叶斯公式，得到=p(f|L)*P(L)/P(f)，P(f)是个常数，分析中可以忽略掉；P(f|L)等于是似然函数，P(L)用gibbs分布等于到u能量函数，再变为势函数——》所以，标签问题由求标签的最大后验概率，变为求最小势能函数之和（或最小能量函数，这就是个名字）——》若后验概率假设是高斯分布的，得到式子后，v变为potts模型（似乎是本文采用的模型）

--这里，最后的势函数是所谓的order2势函数，反应了图中相邻标签的关系；之前的势函数反应的是单一像素/超像素在图中的关系。（？）

6、三边的深度去噪（？）

提出了一种针对性的去噪方法，但没怎么看懂——不过自己的研究中，因为针对的是高分辨率的图像，且强调速度的实现，这里跳过。

7、Proposed Method

7.1 超像素提取方法

--是很重要的一步，影响最终结果很多（同）；

--针对labcie彩色空间的canny边缘检测方法和针对深度（距离）信息的相邻像素法向量的cos夹角方法；

--也就是说，文中是用这两种边缘检测方法得到边缘，然后将得到的分割后的块作为下一步处理的超像素（也就是说，大小形状不定）；（这里倒是提供了一种超像素的思路，由边缘检测等其他方法得到，自己定义超像素亦可，只要服务于我！！）

7.2 能量函数（？）

--这里没有太懂：order3势函数也有了，表示两个相邻像素的order2势函数的集合（？）；

7.3 最小化（势函数）方法

--已经有很多（成熟的）方法：ICM，Graph Cut，梯度下降，a-expansion, a-beta-swap and message passing based method；

--本文采用的是一种MRF方法，具体是把原始问题分解为sub（亚）问题——变成主从系列的问题，仆一个一个解决，让主不断更新到最后的结果；起了个算法名字：快速原始对偶算法（Fast Primal Dual Algorithm）；

8、实验结果

--具体的就不多说了，毕竟不是很一样，谈谈可取之处；

--数量：30个场景/图片；

--评判方法：与the Hoover method对比（公认的一些方法），以及其他成熟方法；三个指标（correct detection，noise instances,missed instances）作图展示！

9、Conclusion

--利用几何信息（这里特指深度/距离信息）增强分割结果；

--具体实现的方法是利用MRF原理，把信息“加载”到能量函数中去；

--在预处理阶段（得到超像素），利用了彩色边缘和几何（深度）边缘来做检测的；

--适用于high level图像处理问题，以及机器人导航问题（用kniect）；

10、Future works

--更好的分割结果；

--现有或前次分割结果的利用；每次迭代后标签的反馈信息；

11、参考文献

[9] Radhakrishna Achanta, Appu Shaji, Kevin Smith, Aurélien Lucchi,Pascal Fua, Sabine Süsstrunk: S L IC Superpixels Compared to Stateof-the-Art Superpixel Methods. IEEE Trans. Pattern Anal. Mach.Intell. 34(11): 2274-2282 (2012).

[31] Komodakis, N., Paragios, N., Tziritas, G., "MRF Energy Minimization and Beyond via Dual Decomposition," Pattern Analysis and Machine Intelligence, IEEE Transactions on , vol.33, no.3,pp.531,552, March 2011.

[32] Chaohui Wang, Nikos Komodakis, Nikos Paragios, "Markov Random Field modeling, inference & learning in computer vision ; image understanding", A survey, Computer Vision and Image Understanding, Volume 117, Issue 11, Pages 1610-1627, ISSN 1077-3142, 2013.94

12、个人总结

--获得超像素的方法，不死板，对超像素定义的理解更深入；

--运用MRF的能量函数的变化，来实现所谓的“基于”；

--没有讲具体怎么实现的问题由大化小的，对超像素块的操纵还是不灵光...