v\:* {behavior:url(#default#VML);}
o\:* {behavior:url(#default#VML);}
w\:* {behavior:url(#default#VML);}
.shape {behavior:url(#default#VML);}

Normal
0
false

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

/* Style Definitions */
table.MsoNormalTable
{mso-style-name:普通表格;
mso-tstyle-rowband-size:0;
mso-tstyle-colband-size:0;
mso-style-noshow:yes;
mso-style-priority:99;
mso-style-parent:"";
mso-padding-alt:0cm 5.4pt 0cm 5.4pt;
mso-para-margin:0cm;
mso-para-margin-bottom:.0001pt;
mso-pagination:widow-orphan;
font-size:10.5pt;
mso-bidi-font-size:11.0pt;
font-family:"微软雅黑",sans-serif;}

这几天帮学长研究这篇论文,整理了这些笔记,由于我在CV方面刚刚入门,博客中可能会有很多错误与不当之处,希望大家能多多指正。

附上我自己修改的C++代码,可以运行在windows环境下:

链接:https://pan.baidu.com/s/1nnQO9HEkiaRLYHRAIzNDaw

提取码:jarz

代码参考自:https://github.com/coderSkyChen/MBS_Cplus_c-

1. Introduction

显著性目标检测目的是得到显著图(saliency map),现有技术要求高质量和高速度。

论文的核心算法是基于最小化栅格距离 (MBD) 变换提出。 这个算法对像素值波动的鲁棒性很好, 因此可以直接用在 raw 像素值上, 而不必经过区域抽象化预处理(region abstraction, 处理之后可得到超像素)。但是, 由于 MBD 算法的复杂度很高且计算耗时, 本文提出一种 “近似 MBD” 转换的FastMBD 算法,同时提供了误差边界分析。

3. Fast Approximate MBD Transform

3.1. Background: Distance Transform

图像距离变换的目的是计算相对于一组背景种子像素的距离图。

D(t)就是我们要求得的距离图。F是路径代价函数,它有很多种选择:

1.geodesic path cost function:

2.Minimum Barrier Distance

所以,我们的目标是让D(t)最小,而D(t)表示从种子(背景)点集合(在下文中我们会看到取图像边界一周的像素为种子集合S)到当前处理的像素点t的所有路径(注意是四邻接)中路径代价函数的最小值。如果路径代价函数采用MBD,那么就是每条路径中包含的最大像素值与最小像素值之差。如果采用geodesic path cost function,就是路径中后一像素减去前一像素的绝对值之和。

下面一行的结果中间是模糊的原因。而用MBD,由于它只关注路径中像素最大值减去最小值,所以对于这些小误差并不会累积,而且路径从背景走到前景时,像素值差异会很大,这样计算出的D(t)具有很好的效果。

3.2. Fast MBD Transform by Raster Scan

FastMBD 是使用一种迭代的方法得到近似的 MBD 值。

通过下式进行迭代:

其中P(y)·<y,x>代表了一条从y点走到当前x点的路径,由于是四邻接,所以有上下左右四个方向到达x,这四条路就可以通过Raster Scan和Inverse Raster Scan去遍历到。注意论文中使用了两个额外图的作用:U和L,U记录路径y上的最大像素值,L记录路径y上的最小像素值,参考式(3),这种方式可以很快地计算出MBD的值。感觉这里面有一些动态规划的思想。

3.3. Approximation Error Analysis

FastMBD (Eqn. 4)的更新规则与Dijkstra算法求解最短路径问题具有相同的性质。但是,从[30]中可以看出,由于矩阵的非光滑性,使得类dijkstra算法不能准确地求解MBD变换。FastMBD的收敛解一般不等于精确的MBD变换。

定义1:图L的最大本地误差:εL

定义为在L上共享一条边或一个角的一对像素之间的最大绝对像素值差。

当种子集S是单个元素或者相互连接时,相应的误差以2εL为界,这是很松弛的一个边界。

在接下来的工作中,我们给出了一个FastMBD的收敛解是精确的非平凡充分条件。

首先根据下式取整函数将图像L离散化:

它告诉我们,对于图上的每一个非种子点x,如果这个图的种子集合S相连的话,那么每个像素点和种子点之间的MBD距离与离散之后图的最小MBD距离D(x)小于一个定值εL。这个引理的用处在于告诉我们Fast*算法也能得到一个让我们较为满意的解。

邻接的,如果种子集合相互连接且εL等于1,那么FastMBD的收敛解是精确的值。εL等于1可以作为FastMBD在极限下精确的理论保证。

除了最坏情况误差边界外,在实际中,均值误差收敛速度更为重要。

倍。

4. Minimum Barrier Salient Object Detection

本节讨论了基于fast-MSD的显著性物体检测的系统实现。

4.1. MBD Transform for Salient Object Detection

。我们在FastMBD中使用了三个通道,发现增加通道的数量并不能提高性能。

上图中间一列显示了分别用MBD(上)和geodesic distance得到的distance maps。也就是我们上一段提到的最终组合的图B。最后一列显示了相应的最终显著性图。由于geodesic distance对像素值波动的敏感性,其中心区域具有模糊性。

Y.Wei, F.Wen,W. Zhu, and J. Sun. Geodesic saliency using background priors. In ECCV. 2012.中提到了一种在geodesic distance图上采用自适应边缘权值裁剪方法,解决了小权值累积的问题,但是本文中没有用,所以中心仍有模糊。MBD方法则不存在这个问题。

4.2. Combination with Backgroundness Cue

假设背景区域与图像边界区域有相似的外观,结合基于外观的背景线索,对该方法进行了扩展。这种基于外观的线索在显著区域与图像边界接触时具有较强的鲁棒性,与MBD map B捕捉到的几何线索互补。我们提出了一个更有效的方法来利用这一背景线索使用颜色空间增白。

首先计算Image Boundary Contrast (IBC) Map 图像边界对比图 U,用来突出与图像边界在外观上有高对比度的区域。考虑4个边界区域:上、下、左、右。每个区域是 r 个像素宽,计算每个区域的均值和协方差矩阵,然后IBC Map:

可以根据马氏距离均值颜色的距离计算:

Uk被归一化,值在[0,1]之间。上述公式相当于在白化的颜色空间中测量色差。在加白的颜色空间中,由于加白空间的坐标是去相关和归一化的,因此欧几里德距离样本均值可以更好地表示像素的特殊性。最终的IBC图u计算公式:

当其中一个图像区域大部分被前景占据时,上述公式更加具有鲁棒性。最后我们缩放U的值,让它最大值为1。

最终,我们把B和U线性组合相加,得到图B+,可以大大提升性能。

4.3. Postprocessing

首先,为了在保持有效边界细节的同时平滑S,我们在S上应用形态学平滑步骤,先膨胀后腐蚀。通过对宽度为δ的源图像进行腐蚀(膨胀),得到了膨胀重建的标记图。δ由下式得到:

其中a是预定义常数,s是B的平均像素值。

为了计算在许多显著的目标检测数据集中观察到的中心偏差,我们用一个无参数中心映射C逐像素乘S,定义如下:

,并对S进行对比度增强操作,该操作使用sigmoid函数增强前景和背景区域的对比度:

b是一个预定义的参数,用于控制对比度级别。

5. Experiments

在我们的处理中,输入图像先被调整为最大维数是300像素,在9式中的a值取50,假设颜色值在[0,1]内,我们把11式中的b设定为10。在4.2节中提到的边界宽度 r 取30。我们其实在实践中会发现我们的算法对这些参数的设定并不敏感。

缺陷:

图像边界和前景相互接触时,会导致MB的效果不好,如果前景和背景像素差异大,那么MB+可以解决这类问题,如果前背景差异不大,MB+效果也会不好。

算法流程

1.     将待处理图像resize为最大维度300像素,分解为三通道的三幅灰度图像

2.     dowork -> computeSaliency -> fastMBS ->getSaliencyMap,得到MBmap,它是把上一步每个通道代表的灰度图像分别计算D(t),再全部累加起来得到的。

参照论文算法流程图:

3. 根据4.3节9式,进行先膨胀后腐蚀的平滑,得到morphmat。

4. 根据4.3节11式,增大前景和背景的对比度,得到smallres。

5. resize回原来大小,得到res。

Minimum Barrier Salient Object Detection at 80 FPS 论文阅读笔记的更多相关文章

  1. (不断更新)关于显著性检测的调研-Salient Object Detection: A Survey

    <Salient Object Detection: A Survey>作者:Ali Borji.Ming-Ming Cheng.Huaizu Jiang and Jia Li 基本按照文 ...

  2. [Arxiv1706] Few-Example Object Detection with Model Communication 论文笔记

    p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 13.0px "Helvetica Neue"; color: #042eee } p. ...

  3. 论文阅读笔记五十五:DenseBox: Unifying Landmark Localization with End to End Object Detection(CVPR2015)

    论文原址:https://arxiv.org/abs/1509.04874 github:https://github.com/CaptainEven/DenseBox 摘要 本文先提出了一个问题:如 ...

  4. 论文阅读笔记五十三:Libra R-CNN: Towards Balanced Learning for Object Detection(CVPR2019)

    论文原址:https://arxiv.org/pdf/1904.02701.pdf github:https://github.com/OceanPang/Libra_R-CNN 摘要 相比模型的结构 ...

  5. 论文阅读笔记五十二:CornerNet-Lite: Efficient Keypoint Based Object Detection(CVPR2019)

    论文原址:https://arxiv.org/pdf/1904.08900.pdf github:https://github.com/princeton-vl/CornerNet-Lite 摘要 基 ...

  6. 论文阅读笔记五十一:CenterNet: Keypoint Triplets for Object Detection(CVPR2019)

    论文链接:https://arxiv.org/abs/1904.08189 github:https://github.com/Duankaiwen/CenterNet 摘要 目标检测中,基于关键点的 ...

  7. 论文阅读笔记四十八:Bounding Box Regression with Uncertainty for Accurate Object Detection(CVPR2019)

    论文原址:https://arxiv.org/pdf/1809.08545.pdf github:https://github.com/yihui-he/KL-Loss 摘要 大规模的目标检测数据集在 ...

  8. 论文阅读笔记四十六:Feature Selective Anchor-Free Module for Single-Shot Object Detection(CVPR2019)

    论文原址:https://arxiv.org/abs/1903.00621 摘要 本文提出了基于无anchor机制的特征选择模块,是一个简单高效的单阶段组件,其可以结合特征金字塔嵌入到单阶段检测器中. ...

  9. 论文阅读笔记四十四:RetinaNet:Focal Loss for Dense Object Detection(ICCV2017)

    论文原址:https://arxiv.org/abs/1708.02002 github代码:https://github.com/fizyr/keras-retinanet 摘要 目前,具有较高准确 ...

随机推荐

  1. 7.5 数据注解特性--MaxLength&amp;&amp;MinLength

    MaxLength attribute can be applied to a string or array type property of a domain class. EF Code Fir ...

  2. 并查集(union-find)算法

    动态连通性 . 假设程序读入一个整数对p q,如果所有已知的所有整数对都不能说明p和q是相连的,那么将这一整数对写到输出中,如果已知的数据可以说明p和q是相连的,那么程序忽略p q继续读入下一整数对. ...

  3. NPOI导入,导出

    概述 NPOI 是 POI 项目的 .NET 版本.POI是一个开源的Java读写Excel.WORD等微软OLE2组件文档的项目.NPOI 可以在没有安装 Office 或者相应环境的机器上对 WO ...

  4. Zabbix监控windows部署安装

    Zabbix agent 在windows上安装部署 1.  下载与解压 地址: http://www.zabbix.com/downloads/2.4.0/zabbix_agents_2.4.0.w ...

  5. getting start with storm 翻译 第八章 part-1

    转载请注明出处:http://blog.csdn.net/lonelytrooper/article/details/12434915 第八章 事务性Topologies 在Storm中,正如本书前边 ...

  6. WebService开启远程测试

    WebService部署成站点之后,如果在本地测试webservice的接口可以运行,在远程却显示“测试窗体只能用于来自本地计算机的请求”或者"The test form is only a ...

  7. 基于阿里云的MQTT远程控制

    好久没有写博客了,眼看自己的项目就要快做完了,先分享一下基于MQTT的远程控制,自己买了一个阿里的云端,然后在云端上安装了一个MQTT服务器,其实是一不小心买了两个,所以准备贡献出来一个供大家使用, ...

  8. 从0开始的LeetCode生活—001-Two Sum

    题目: Given an array of integers, return indices of the two numbers such that they add up to a specifi ...

  9. 发现----Android Demo

    时间悄悄的走,转眼来实习已经三个月了,三个月的时间,小编慢慢的成长着,从刚开始的电商项目到现在的车段子项目,小编在走过一个又一个项目的同时,走过了一个又一个战胜自己的奇迹,每次遇到一个新的技术点,小编 ...

  10. tensorflow安装排坑笔记

    由于项目需求,得用tensorflow完成,只能将mxnet的学习先放在一边,开始用tensorflow,废话不多说 首先安装anaconda+vs2015+cuda8.0+cudnn6.0 首先安装 ...