Computer Vision_33_SIFT：A novel coarse-to-fine scheme for automatic image registration based on SIFT and mutual information——2014

此部分是计算机视觉部分，主要侧重在底层特征提取，视频分析，跟踪，目标检测和识别方面等方面。对于自己不太熟悉的领域比如摄像机标定和立体视觉，仅仅列出上google上引用次数比较多的文献。有一些刚刚出版的文章，个人非常喜欢，也列出来了。

33. SIFT
关于SIFT，实在不需要介绍太多，一万多次的引用已经说明问题了。SURF和PCA-SIFT也是属于这个系列。后面列出了几篇跟SIFT有关的问题。
[1999 ICCV] Object recognition from local scale-invariant features
[2000 IJCV] Evaluation of Interest Point Detectors
[2006 CVIU] Speeded-Up Robust Features (SURF)
[2004 CVPR] PCA-SIFT A More Distinctive Representation for Local Image Descriptors
[2004 IJCV] Distinctive Image Features from Scale-Invariant Keypoints

[2009 GRSL] Robust scale-invariant feature matching for remote sensing image registration
[2010 IJCV] Improving Bag-of-Features for Large Scale Image Search
[2011 PAMI] SIFTflow Dense Correspondence across Scenes and its Applications

[2014 CVPR] TILDE: A Temporally Invariant Learned DEtector

[2014 TGRS] A novel coarse-to-fine scheme for automatic image registration based on SIFT and mutual information

[2015 GRSL] An efficient SIFT-based mode-seeking algorithm for sub-pixel registration of remotely sensed images

[2015 TGRS] SAR-SIFT: A SIFT-LIKE ALGORITHM FOR SAR IMAGES

[2017 GRSL] Remote Sensing Image Registration With Modified SIFT and Enhanced Feature Matching

[2017 CVPR] GMS :Grid-based Motion Statistics for Fast, Ultra-robust Feature Correspondence

 

翻译

基于SIFT和互信息的自动图像配准的粗到细方案

作者：Maoguo Gong,Maoguo Gong

摘要

-自动图像配准是一项至关重要而又具有挑战性的任务，特别是对于遥感图像。需要一种准确，可靠和快速的全自动注册方法。为此，本文提出了一种新颖的从粗到细的自动图像配准方案。该方案包括一个预注册过程（粗注册）和一个微调过程（精细注册）。首先，通过配备了可靠的离群值去除程序的比例尺不变特征变换方法来实现预注册过程。粗略的结果为优化器在微调过程中提供了接近最佳的初始解决方案。接下来，通过在多分辨率框架中使用改进的Marquardt-Levenberg搜索策略通过最大化互信息来实现精细调整过程。使用仿射变换模型，对在不同情况下（多光谱，多传感器和多时间）拍摄的各种遥感光学和合成孔径雷达图像进行了测试。实验结果证明了该算法的准确性，鲁棒性和效率。

索引词-图像配准，互信息（MI），离群值去除，尺度不变特征变换（SIFT）。

Ⅰ 引言

图像配准是至关重要的过程，它确定同一场景的两幅图像之间的最精确匹配，这些场景可能是在相同或不同的时间通过相同或不同的传感器并从相同或不同的视点获取的[1]。此过程将两个图像（参考图像和感应图像）在几何上对齐。图像配准已广泛用于许多领域，例如计算机视觉，模式匹配，医学图像分析和遥感图像处理。

特别是对于遥感应用，非常需要实现精确匹配并获得精确的几何校正。对于诸如图像融合和变化检测之类的应用，达到亚像素精度非常重要。例如，要求小于0.2个像素的配准精度才能实现小于10％的变化检测误差[2]。自动图像配准提供了实现此目标的实用方法。尽管最近提出了许多算法[3] – [6]，但是由于遥感领域中存在特殊的困难，自动图像配准仍然是一个挑战。所涉及的困难主要包括几何变形（平移效果，旋转和比例失真，遮挡和视点差异）和放射线差异（照度变化以及传感器和光谱含量差异）。因此，需要进行进一步的研究以改善现有注册方法的性能。

图像配准方法可大致分为两类：基于强度的方法和基于特征的方法[1]，[7]。基于特征的方法首先提取显着特征，然后使用相似性度量对它们进行匹配，以建立两个图像之间的几何对应关系。这些方法的主要优点之一是它们对噪声，复杂的几何变形和显着的辐射度差异具有快速且鲁棒的作用。但是，只有在可靠的算法提取并匹配了适当特征的情况下，它们才能表现良好。常用的特征包括点，边，轮廓和区域，众所周知的特征匹配方法包括不变描述符，空间关系和松弛方法[1]。 Mikolajczyk等[8]比较了描述符在细微变换，缩放比例，旋转，图像模糊，jpeg压缩和光照变化方面的性能。他们发现，尺度不变特征变换（SIFT）[9]在大多数测试中表现最佳。

SIFT能够从图像中提取独特的不变特征，并且可以在很大范围的细微畸变，3-D视点变化，噪声增加和照明变化中应用顶级的可靠匹配。[9]尽管SIFT具有吸引人的优点，但是当将其直接应用于遥感图像时，仍然存在一些问题，即，由于遥感图像内容的复杂性，检测到的特征匹配的数量可能很小，并且它们的分布可能不均匀[10]。另外，由于遥感图像的覆盖区域之间图像强度的显着差异，特征匹配中存在许多异常值。因此，如将SIFT应用于遥感影像的最新算法所支持的，仅使用SIFT不能产生最佳结果[11] – [15]。这些算法从不同方面改进了SIFT方法。图像分割和最大稳定的末梢区域用于检测更可靠的支持区域，这些区域用于计算不变描述符[12]，[15]。在[13]和[14]中，通过引入新颖的匹配准则可以提高正确的匹配率。

Ma等[11]开发了用于多角度卫星图像的两步非刚性自动配准方案。在[11]中，首先在预注册过程中选择了SIFT控制点（CP），然后在初步注册图像中检测到归一化互相关（NCC）CP，以获得更多具有更好空间分布的CP。该算法对于灰度特性相当相似的多角度图像[11]表现良好。然而，它不适用于更复杂的情况，因为NCC对通过改变照明和噪声以及通过使用不同的传感器而引起的强度变化很敏感[1]。更好的选择是将局部最小二乘与局部辐射适应相匹配[16]。为了精确地将多传感器和/或多时间图像与明显的噪声和照度变化进行匹配，需要进一步研究更合适的技术。

与NCC相比，互信息（MI）标准特别适用于多传感器图像配准[1]。 MI表示两个图像之间统计相关性的度量，是基于强度的方法中最常用的相似性度量之一。在[17]中已经证明，MI比噪声更鲁棒，并且在正确的配准值处始终产生比相关性更尖锐的峰值，这对于准确配准非常重要。此外，MI还对图像之间的非线性强度关系具有鲁棒性[18]。它已成功应用于医学图像[19]，[20]和遥感图像[17]，[18]，[21] – [23]的配准。考虑到它的鲁棒性和高精度，我们使用它来细化通过SIFT方法获得的粗略结果作为预注册步骤。 Cole-Rhodes等[17]提出了一种同时摄动随机逼近（SPSA）搜索策略，而不是穷举搜索来加速MI的最大化，该策略被应用在基于小波状金字塔分解的多分辨率框架中。但是，SPSA是一种用于优化通过预注册过程获得的粗略结果的效率较低的搜索策略，因为它在[17]中所述的接近解时收敛很小，而事实是，粗略结果通常在解的附近。 Thévenaz等人[20]开发了功能强大的优化器，用于最大化医学图像配准的MI。这个功能强大的优化器从良好的初始条件中受益匪浅，因为它在足够接近解的情况下显示出超线性收敛（基本事实）并达到了高精度。在这里，我们探索其良好的性能，并对遥感影像的配准进行修改。

在[24]-[27]中，SIFT和MI的优势也通过不同的方案得到了利用。苏里等人[24]提出了一种鲁棒的多传感器合成孔径雷达（SAR）图像配准方法，该方法首先使用MI估计粗略配准参数，然后在SIFT匹配阶段引入用于共轭特征选择的参数，以增加正确匹配的次数。 Heo等[25]提出了一种新的立体匹配方法，该方法将MI作为外观度量，并将SIFT描述子组合为几何度量。 Heo等人[26]介绍了一种鲁棒的立体匹配方法，该方法可以通过组合MI，SIFT，平面拟合和对数色度色彩空间来生成准确的深度图。此外，Mekky等人[27]通过使用基于小波的分层方法，提出了一种用于牙科全景X射线图像的混合配准技术，该方法在低分辨率级别应用基于MI的配准，并在高分辨率级别使用基于SIFT的配准，并从MI获得粗略参数。我们提出的新颖的从粗到细的注册方案将在第三节中详细介绍。

这项研究的主要创新是一种新的从粗到细变换参数求解策略，该策略包括一个预注册过程和一个细调过程。其独特之处在于以下三个方面。

1）引入了一种经过改进的离群值去除程序，以消除大多数错误的SIFT匹配，以确保预注册结果接近解决方案（基本事实）。

2）通过使用带有离群值消除的SIFT，开发出了一种用于最大化MI的出色的初始解决方案选择策略。

3）在多分辨率框架中使用改进的Marquardt-Levenberg搜索策略来最大化MI，以优化预注册结果以获得最精确的注册结果。

所提算法既具有基于特征的方法又具有基于强度的方法的优点，即SIFT的鲁棒性和MI的准确性。我们使用仿射变换模型，对在不同情况下（多光谱，多传感器和多时间）拍摄的各种光学和SAR遥感图像测试了该算法。实验结果表明，该方法具有鲁棒性，快速性和精确性。本文的其余部分安排如下。第二节解释了提出算法的每个过程的动机。第三节详细描述了所提出的算法。第四部分说明了四对不同图像的实验结果。结束语在第五部分。