图像配准建立仿射变换模型并用RANSAC算法评估

当初选方向时就由于从小几何就不好、缺乏空间想像能力才没有选择摄影測量方向而是选择了GIS。

昨天同学找我帮他做图像匹配。这我哪里懂啊，无奈我是一个别人有求于我，总是不好意思开口拒绝的人。于是乎就看着他给的一章节内容開始敲代码了，今天总算给他完毕了。

做的比較简单，中间也遇到了不少问题，尤其是计算量大的问题，由于老师给的数据是粗配准过的数据， RANSAC算法评估时就简化了下。

理论内容：

第5章 图像配准建立几何变换模型

特征点建立匹配关系之后，下一步就是求解图像之间的变换关系。仿射变换可以非常好的表达图像之间的一般变换，而且最少仅仅须要3对匹配点就行求解。因为之前用的匹配算法不能保证没有误匹配（实际上是存在误匹配的），本文将採用RANSAC方法来预计两幅图像之间的仿射变换关系。假设有足够多的图像特征匹配符合某一个特定的仿射变换，则我们觉得当前匹配惬意，反之，我们进行下一次预计。

5.1 RANSAC算法

RANSAC（RandomSample Consensus），即随机採样一致算法。准确来说是一种从一组包括噪声的观測数据中通过迭代的方式预计出数据所满足的某个数学模型的參数的算法。

由Fischler和Bolles于1981年提出，是眼下广泛使用的一种剔除误匹配点的方法。

5.2 仿射变换

仿射变换（Affine Transform）是一种仿射平面到自身的变换，它可以保持点的共线性（Parallelism，即保持二维图形之间相对位置关系不变，平行仍是平行。相交直线的交角不变）和直线的平行性（Straightness，即变换后圆弧还是圆弧。直线还是直线）。仿射变换是配准中最经常使用的一类转换模型，在几何学中有专门的仿射几何分支，并将仿射变换被看成一个平行的投影链。

仿射变换可用以个三乘三的矩阵表示，最后一行为（0,0,1）。

该变换矩阵将原坐标（x,y）变为（x`,y`）。

变换矩阵为：

我们在空间几何信息检验中。觉得假设两幅图像描写叙述的是同一个物体或场景，因为图片大小，位置和角度的不同，两幅图像中对应的兴趣点的位置信息应该满足某一个仿射变换关系。

因此，我们以两幅图像之间的特征匹配作为数据来预计仿射变换矩阵，假设能找到一个足够多特征匹配都服从的仿射变换。则觉得当前匹配让人惬意。

5.3 RANSAC仿射变换空间检验

空间检验就是通过RANSAC算法，依据图像之间的特征匹配信息，预计出一个仿射变换模型。

我们用下式来表示仿射变换矩阵

当中m1,m2,m3,m4体现尺度和旋转特性。tx是x方向上的平移，ty是y方向上的平移。

则一对匹配点的坐标能够写成

或者写成

当中。（x,y）是变换前，（u,v）是变换后的坐标。

为了解求仿射变换參数，对上式做一下变形：

可写成A*x=b，则模型參数x的值

要解六个參数。至少须要三对特征匹配。因此RANSAC随机採样每次须要三对数据来预计仿射变换矩阵。

介绍完相关概念和理论，以下是RANSAC空间几何信息检验的流程：

1. 数据准备：找到两幅图像（I1和I2）之间的匹配点对和坐标信息。

2. 模型预计：如果有n>3对的匹配点对，随机选取3对。依据公式解求仿射变换模型參数m1,m2,m3,m4,tx,ty。

3. 模型评估：对图像I1中全部的已匹配的点（x,y）做上述仿射变换，得到一系列变换后的坐标（u`,v`）。将这些得到的坐标和I2中相应的匹配点（u,v）求欧氏距离，即仿射变换的预计误差E。并用I2中相应特征点的尺度信息做归一化，这样每个特征匹配能够求出一个归一化的预计误差。终于得到一个预计误差向量。

4. 依据预计误差向量确定一个误差阈值T（该怎么确定阈值？），预计误差向量中低于T的相应的特征匹配为Inliers。

5. 假设Inliers数目大于眼下最大的Inliers数目。则当做找到了当前最好的放射变换，保存此变换（我看到网上说要对其做局部优化，将全部满足当前最好的仿射变换的Inliers匹配点对。又一次做母性预计和模型评估并保存仿射变换信息。

一般说来。经过局部优化的新放射变换一般会有很多其它Inliers，是什么意思啊？）

6. 反复2到6步骤。终于得到的仿射变换觉得是I1和I2之间最好的放射变换模型。

这里记录下做的流程：

（1）推导六參数计算公式。编写仿射变换六參数类（因为之前没有检查数据，数据中有几组反复的，导致一直报“尝试除以零”这个错误）;

代码例如以下：

/*
 * 求解仿射变换模型參数的类
 *
 @ 刘硕编制
 */

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;

namespace ImageMatching
{   

    class ParameterHelper
    {
        public int[] X_Cor
        {
            get;
            set;
        }
        public int[] Y_Cor
        {
            get;
            set;
        }
        public int[] U_Cor
        {
            get;
            set;
        }
        public int[] V_Cor
        {
            get;
            set;
        }
        //仿射变换模型六參数
        public double m1
        {
            get
            {
                return ((U_Cor[1] - U_Cor[0]) - m2 * (Y_Cor[1] - Y_Cor[0])) / (X_Cor[1] - X_Cor[0]);
            }
        }
        public double m2
        {
            get
            {
                return ((U_Cor[1] - U_Cor[0])*(X_Cor[2] - X_Cor[0]) - (U_Cor[2] - U_Cor[0])*(X_Cor[1] - X_Cor[0])) /
                    ((Y_Cor[1] - Y_Cor[0])*(X_Cor[2] - X_Cor[0]) - (Y_Cor[2]- Y_Cor[0])*(X_Cor[1] - X_Cor[0]));
            }
        }
        public double m3
        {
            get
            {
                return ((V_Cor[1] - V_Cor[0]) - m4 * (Y_Cor[1] - Y_Cor[0])) / (X_Cor[1] - X_Cor[0]);
            }
        }
        public double m4
        {
            get
            {
                return ((V_Cor[1] - V_Cor[0]) * (X_Cor[2] - X_Cor[0]) - (V_Cor[2] - V_Cor[0]) * (X_Cor[1] - X_Cor[0])) /
                    ((Y_Cor[1] - Y_Cor[0]) * (X_Cor[2] - X_Cor[0]) - (Y_Cor[2] - Y_Cor[0]) * (X_Cor[1] - X_Cor[0]));
            }
        }
        public double tx
        {
            get
            {
                return U_Cor[0] - m1 * X_Cor[0] - m2 * Y_Cor[0];
            }
        }
        public double ty
        {
            get
            {
                return V_Cor[0] - m3 * X_Cor[0] - m4 * Y_Cor[0];
            }
        }

    }
}

（2）对全部匹配点计算组合数，按RANSAC随机採样每次须要三对数据来预计仿射变换矩阵，则共同拥有（C_n³*C_n³）种组合情况，计算量相当大。

（3）求解完仿射变换模型六參数后，则要进行模型评估。

即计算归一化误差，得到归一化误差向量。

（4）确定阈值，计算Inliers数。这里參照论文。阈值取全部归一化误差的均值（按说应该取自适应阈值，奈何不懂啊）。

（5）比較全部组合的Inliers数。得到最优仿射变换，并保存。

（6）输出仿射变换六參数及匹配后坐标

欢迎留言拍砖！