特征提取算法的综合实验（多种角度比较sift/surf/brisk/orb/akze）
一、基本概念：
作用：特征点提取在“目标识别、图像拼接、运动跟踪、图像检索、自动定位”等研究中起着重要作用；
主要算法：
•SIFT,DistinctiveImageFeatures from Scale-Invariant Keypoints,2004,invariant to image translation, scaling, and rotation, partially invariant toillumination changes and robust to local geometric distortion
•SURF,SpeededUp RobustFeatures,2006,受SIFT启发，比SIFT快，健壮
•ORB,ORB: an efficientalternative to SIFT or SURF,2011，基于FAST，比SIFT快两个数量级，可作为SIFT的替代
•GFTT，GoodFeatures to Track,1994,Determines strong corners on animage
•HARRIS,Harrisand M. Stephens (1988).“A combined corner and edge detector”,也是一种角点检测方法
•FREAK
•AKAZE等
其中标红的5项是在OpenCV中已经进行了实现的。
特征点识别主要流程为:
1、检测关键点、提取描述向量和特征匹配；
2、通过检测关键点和提取描述向量构造出局部特征描述子，
3、然后进行特征匹配
二、数据准备：
数据集为pascal中取出的6个数据，分别针对特征点提取的6个方面
其中特征点识别在以下6个方面进行比较
1、算法匹配速度比较 （ubc）
测试方法：在相同的匹配环境下，即使用同样配置的计算机，对相同的一对图像进行比较，测试算法的执行时间
2、旋转变换鲁棒性比较 （bark）
测试方法：对同一图像进行一定角度的旋转，旋转角度逐步递增，旋转后的图像逐一与原始图像进行匹配，比较能够正确匹配的特征点对数，并观察正确匹配对数的变化幅度
3、模糊变换鲁棒性比较 （bikes）
测试方法：对同一图像用不同的高斯核进行模糊处理，模糊处理后的图像逐一与原始图像进
行匹配，比较能够正确匹配的特征点对数，并观察正确匹配对数的变化幅度
4、光照变换鲁棒性比较 （leuven）
测试方法：对同一图像的亮度进行改变，逐
渐降低亮度，改变亮度后的图像逐一与原始图像进行匹配，比较能够正确匹配的特征点对数，并观察正确匹配对数的变化幅度
5、尺度变换鲁棒性比较 （bark）
测试方法：对原图像的尺度大小进行改变，尺度变化后的图像逐一与原始图像进行匹配，比较能够正确匹配的特征点对数，并观察正确匹配对数的变化幅度
6、视角变换鲁棒性比较 （graf）
测试方法：对原场景转一定角度进行拍摄，不同视角的图像逐一与原始图像进行匹配，比较能够正确匹配的特征点对数，并观察正确匹配对
数的变化幅度
三、实验步骤：
1、依次对各个数据集进行特征点提取并进行两两特征点的比较，也就是match。这个流程是正常的流程，执行的过程中要注意错误控制
//使用img1对比余下的图片，得出结果
img1 = imread(files[0],0);
imgn = imread(files[iimage],0);
//生成特征点算法及其匹配方法
Ptr<Feature2D> extractor;
BFMatcher matcher;
switch (imethod)
{
case 0: //"SIFT"
extractor= SIFT::create();
matcher = BFMatcher(NORM_L2);
break;
case 1: //"SURF"
extractor= SURF::create();
matcher = BFMatcher(NORM_L2);
break;
case 2: //"BRISK"
extractor = BRISK::create();
matcher = BFMatcher(NORM_HAMMING);
break;
case 3: //"ORB"
extractor= ORB::create();
matcher = BFMatcher(NORM_HAMMING);
break;
case 4: //"AKAZE"
extractor= AKAZE::create();
matcher = BFMatcher(NORM_HAMMING);
break;
}
try
{
extractor->detectAndCompute(img1,Mat(),keypoints1,descriptors1);
extractor->detectAndCompute(imgn,Mat(),keypoints2,descriptors2);
matcher.match( descriptors1, descriptors2, matches );
}
catch (CException* e)
{
cout<<" 特征点提取时发生错误 "<<endl;
continue;
}
//对特征点进行粗匹配
double max_dist = 0;
double min_dist = 100;
for( int a = 0; a < matches.size(); a++ )
{
double dist = matches[a].distance;
if( dist < min_dist ) min_dist = dist;
if( dist > max_dist ) max_dist = dist;
}
for( int a = 0; a < matches.size(); a++ )
{
if( matches[a].distance <= max(2*min_dist, 0.02) )
good_matches.push_back( matches[a]);
}
if (good_matches.size()<4)
{
cout<<" 有效特征点数目小于4个，粗匹配失败 "<<endl;
continue;
}
2、对match的结果进行RANSAC提纯计算，计算“内点”。主要是RANSAC提纯的一个过程，这个过程在图像拼接中也是很常见的。
//通过RANSAC方法，对现有的特征点对进行“提纯”
std::vector<Point2f> obj;
std::vector<Point2f> scene;
for( int a = 0; a < (int)good_matches.size(); a++ )
{
//分别将两处的good_matches对应的点对压入向量,只需要压入点的信息就可以
obj.push_back( keypoints1[good_matches[a].queryIdx ].pt );
scene.push_back( keypoints2[good_matches[a].trainIdx ].pt );
}
//计算单应矩阵（在calib3d中)
Mat H ;
try
{
H = findHomography( obj, scene, CV_RANSAC );
}
catch (CException* e)
{
cout<<" findHomography失败 "<<endl;
continue;
}
if (H.rows < 3)
{
cout<<" findHomography失败 "<<endl;
continue;
}
//计算内点数目
Mat matObj;
Mat matScene;
CvMat* pcvMat = &(CvMat)H;
const double* Hmodel = pcvMat->data.db;
double Htmp = Hmodel[6];
for( int isize = 0; isize < obj.size(); isize++ )
{
double ww = 1./(Hmodel[6]*obj[isize].x + Hmodel[7]*obj[isize].y + 1.);
double dx = (Hmodel[0]*obj[isize].x + Hmodel[1]*obj[isize].y + Hmodel[2])*ww - scene[isize].x;
double dy = (Hmodel[3]*obj[isize].x + Hmodel[4]*obj[isize].y + Hmodel[5])*ww - scene[isize].y;
float err = (float)(dx*dx + dy*dy); //3个像素之内认为是同一个点
if (err< 9)
{
innersize = innersize+1;
}
}
3、比较“耗时”和“内点比例”两个因素。其中建立数学模型，就是用"准确率“/“内点比例”，这样得到一个正向的结论。
4、结合相关数据，得出综合结论
四、实验结果：
1、sift和surf一直提供了较高的准确率，并且结果比较稳定；sift较surf更准一些，但是也有brisk最好的时候；
2、orb的速度非常快，但是最容易出现问题；
3、AKAZA也很容易出现问题；
4、其他算法，包括AKAZA，速度的差别都不是很大。
五、结论
那么我们在做大型特征点提取的算法的时候，就需要综合考虑速度、准确率等多种要素；很可能要自己设计新的算法，将这几种典型算法包含其中，扬长避短了。
附：
//遍历dateset,分别对ＳＩＦＴ、ＳＵＲＦ、ＢＲＩＳＫ、ＯＲＢ、ＦＲＥＡＫ算法进行运算，得出初步结论
//jsxyhelu 2017年11月3日
#include "stdafx.h"
#include <opencv2/core/utility.hpp>
#include "opencv2/imgproc.hpp"
#include "opencv2/videoio.hpp"
#include "opencv2/highgui.hpp"
#include "opencv2/calib3d.hpp"
#include "opencv2/xfeatures2d.hpp"
#include <iostream>
#include <ctype.h>
#include "GOCVHelper.h"
#define DATESET_COUNT 8
#define METHOD_COUNT 5
using namespace cv;
using namespace std;
using namespace xfeatures2d;
void main()
{
string strDateset[DATESET_COUNT];
strDateset[0] = "bark";strDateset[1] = "bikes";strDateset[2] = "boat";strDateset[3] = "graf";strDateset[4] = "leuven";
strDateset[5] = "trees";strDateset[6] = "ubc";strDateset[7] = "wall";
string strMethod[METHOD_COUNT];
strMethod[0] = "SIFT";strMethod[1]="SURF";strMethod[2]="BRISK";strMethod[3]="ORB";strMethod[4]="AKAZE";
////递归读取目录下全部文件
vector<string> files;
Mat descriptors1;
std::vector<KeyPoint> keypoints1;
Mat descriptors2;
std::vector<KeyPoint> keypoints2;
std::vector< DMatch > matches;
std::vector< DMatch > good_matches;
////用于模型验算
int innersize = 0;
Mat img1;
Mat imgn;
int64 t = getTickCount();
std::cout<<"ＳＩＦＴ、ＳＵＲＦ、ＢＲＩＳＫ、ＯＲＢ、A K A Z E算法测试实验开始"<<endl;
//遍历各种特征点寻找方法
for (int imethod=METHOD_COUNT-1;imethod<METHOD_COUNT;imethod++)
{
string _strMethod = strMethod[imethod];
std::cout<<"开始测试"<<_strMethod<<"方法"<<endl;
//遍历各个路径
for (int idateset = 0;idateset<DATESET_COUNT;idateset++)
{
//获得测试图片绝对地址
string path = "E:/template/dateset/"+strDateset[idateset];
std::cout<<"数据集为"<<strDateset[idateset];
//获得当个数据集中的图片
GO::getFiles(path,files,"r");
std::cout<<" 共"<<files.size()<<"张图片"<<endl;
for (int iimage=1;iimage<files.size();iimage++)
{
//使用img1对比余下的图片，得出结果
img1 = imread(files[0],0);
imgn = imread(files[iimage],0);
//生成特征点算法及其匹配方法
Ptr<Feature2D> extractor;
BFMatcher matcher;
switch (imethod)
{
case 0: //"SIFT"
extractor= SIFT::create();
matcher = BFMatcher(NORM_L2);
break;
case 1: //"SURF"
extractor= SURF::create();
matcher = BFMatcher(NORM_L2);
break;
case 2: //"BRISK"
extractor = BRISK::create();
matcher = BFMatcher(NORM_HAMMING);
break;
case 3: //"ORB"
extractor= ORB::create();
matcher = BFMatcher(NORM_HAMMING);
break;
case 4: //"AKAZE"
extractor= AKAZE::create();
matcher = BFMatcher(NORM_HAMMING);
break;
}
try
{
extractor->detectAndCompute(img1,Mat(),keypoints1,descriptors1);
extractor->detectAndCompute(imgn,Mat(),keypoints2,descriptors2);
matcher.match( descriptors1, descriptors2, matches );
}
catch (CException* e)
{
cout<<" 特征点提取时发生错误 "<<endl;
continue;
}
//对特征点进行粗匹配
double max_dist = 0;
double min_dist = 100;
for( int a = 0; a < matches.size(); a++ )
{
double dist = matches[a].distance;
if( dist < min_dist ) min_dist = dist;
if( dist > max_dist ) max_dist = dist;
}
for( int a = 0; a < matches.size(); a++ )
{
if( matches[a].distance <= max(2*min_dist, 0.02) )
good_matches.push_back( matches[a]);
}
if (good_matches.size()<4)
{
cout<<" 有效特征点数目小于4个，粗匹配失败 "<<endl;
continue;
}
//通过RANSAC方法，对现有的特征点对进行“提纯”
std::vector<Point2f> obj;
std::vector<Point2f> scene;
for( int a = 0; a < (int)good_matches.size(); a++ )
{
//分别将两处的good_matches对应的点对压入向量,只需要压入点的信息就可以
obj.push_back( keypoints1[good_matches[a].queryIdx ].pt );
scene.push_back( keypoints2[good_matches[a].trainIdx ].pt );
}
//计算单应矩阵（在calib3d中)
Mat H ;
try
{
H = findHomography( obj, scene, CV_RANSAC );
}
catch (CException* e)
{
cout<<" findHomography失败 "<<endl;
continue;
}
if (H.rows < 3)
{
cout<<" findHomography失败 "<<endl;
continue;
}
//计算内点数目
Mat matObj;
Mat matScene;
CvMat* pcvMat = &(CvMat)H;
const double* Hmodel = pcvMat->data.db;
double Htmp = Hmodel[6];
for( int isize = 0; isize < obj.size(); isize++ )
{
double ww = 1./(Hmodel[6]*obj[isize].x + Hmodel[7]*obj[isize].y + 1.);
double dx = (Hmodel[0]*obj[isize].x + Hmodel[1]*obj[isize].y + Hmodel[2])*ww - scene[isize].x;
double dy = (Hmodel[3]*obj[isize].x + Hmodel[4]*obj[isize].y + Hmodel[5])*ww - scene[isize].y;
float err = (float)(dx*dx + dy*dy); //3个像素之内认为是同一个点
if (err< 9)
{
innersize = innersize+1;
}
}
//打印内点占全部特征点的比率
float ff = (float)innersize / (float)good_matches.size();
cout<<ff;
//打印时间
cout <<" "<<((getTickCount() - t) / getTickFrequency())<< endl;
t = getTickCount();
//如果效果较好，则打印出来
Mat matTmp;
if (ff == 1.0)
{
drawMatches(img1,keypoints1,imgn,keypoints2,good_matches,matTmp);
char charJ[255];sprintf_s(charJ,"_%d.jpg",iimage);
string strResult = "E:/template/result/"+strDateset[idateset]+_strMethod+charJ;
imwrite(strResult,matTmp);
}
ff = 0;
innersize = 0;
matches.clear();
good_matches.clear();
}
files.clear();
}
}
getchar();
waitKey();
return;
};
特征提取算法的综合实验（多种角度比较sift/surf/brisk/orb/akze）的更多相关文章
- 【特征检测】BRISK特征提取算法
[特征检测]BRISK特征提取算法原创hujingshuang 发布于2015-07-24 22:59:21 阅读数 17840 收藏展开简介 BRISK算法是2011年ICCV上< ...
- [转]SIFT,SURF,ORB,FAST 特征提取算法比较
转载地址:https://blog.csdn.net/vonzhoufz/article/details/46461849 主要的特征检测方法有以下几种,在一般的图像处理库中(如opencv, VLF ...
- 特征提取算法（3）——SIFT特征提取算子
目录: 前言 1.高斯尺度空间GSS 2.高斯差分DOG 用DoG检测特征点 GSS尺度选择 3.图像金字塔建立 用前一个octave中的倒数第三幅图像生成下一octave中的第一幅图像 每层octa ...
- 特征提取算法（1）——纹理特征提取算法LBP
模式识别中进行匹配识别或者分类器分类识别时,判断的依据就是图像特征.用提取的特征表示整幅图像内容,根据特征匹配或者分类图像目标. 常见的特征提取算法主要分为以下3类: 基于颜色特征:如颜色直方图.颜色 ...
- SIFT 特征提取算法总结
原文链接:http://www.cnblogs.com/cfantaisie/archive/2011/06/14/2080917.html 主要步骤 1).尺度空间的生成: 2).检测尺度空间极 ...
- CCNP第四天 OSPF综合实验（1）
ospf综合实验(1) 本实验主要考察ospf中的接口上的多种工作方式 实验如图所示: 所用拓扑为CCNP标准版,如图: --------------------------------------- ...
- （6综合实验）从零开始的嵌入式图像图像处理(PI+QT+OpenCV)实战演练
从零开始的嵌入式图像图像处理(PI+QT+OpenCV)实战演练 1综述http://www.cnblogs.com/jsxyhelu/p/7907241.html2环境架设http://www.cn ...
- 肺结节CT影像特征提取（二）——肺结节CT图像特征提取算法描述
摘自本人毕业论文<肺结节CT影像特征提取算法研究> 医学图像特征提取可以认为是基于图像内容提取必要特征,医学图像中需要什么特征基于研究需要,提取合适的特征.相对来说,医学图像特征提取要求更 ...
- 第十三节、SURF特征提取算法
上一节我们已经介绍了SIFT算法,SIFT算法对旋转.尺度缩放.亮度变化等保持不变性,对视角变换.仿射变化.噪声也保持一定程度的稳定性,是一种非常优秀的局部特征描述算法.但是其实时性相对不高. SUR ...
随机推荐
- Zabbix(一) : 简介以及Server端安装
一.什么是Zabbix? zabbix由AlexeiVladishev首先开发,目前在维护的是Zabbix SIA.ZABBIX是一个企业级的开源分布式监控解决方案. zabbix为监控网络和服务器的 ...
- python之路第五篇之模块和加密算法（进阶篇：续）
模块 Python中,如果要引用一些内置的函数,该怎么处理呢?在Python中有一个概念叫做模块(module) 简单地说,模块就是一个保存了Python代码的文件. 模块分类: 1)内置模块 2)自 ...
- 简单Elixir游戏服务器开篇
以前的Elixir游戏服设计系列种种原因没有完成. 后来虽然用Elixir + riak 完成了一个麻将的初始版本,可惜公司也挂了. 现在到新公司,比较空闲,想着像完成一个心愿一样,还是重启下吧(希望 ...
- Asp.net中防止用户多次登录的方法
在web开发时,有的系统要求同一个用户在同一时间只能登录一次,也就是如果一个用户已经登录了,在退出之前如果再次登录的话需要报错. 常见的处理方法是,在用户登录时,判断此用户是否已经在Applicati ...
- IDEA Maven 三层架构 2、运行 springMVC
运行 SpringMVC 首先要理解 SpringMVC 应用程序的入口是配置文件 web.xml,其路径为"src/main/webapp/WEB-INF/web.xml",通过 ...
- Intel Core Microarchitecture Pipeline
Intel微处理器近20年从Pentium发展到Skylake,得益于制作工艺上的巨大发展,处理器的性能得到了非常大的增强,功能模块增多,不过其指令处理pipeline的主干部分算不上有特别大的变化, ...
- C#如何连接wifi和指定IP
大家好哈,这是我第一次写博客,我也是才大一结束,自学了10多天C#,有不对的欢迎大家指正,最近因为项目的事而被Wifi和IP折磨了很久,后来借用了一下外国人的SimpleWifi.dll 再自己写了一 ...
- Appium python自动化测试系列之Android UIAutomator终极定位(七)
android uiautomator text定位 可能有人不知道为什么说android uiautomator是终极定位,而且android uiautomator和appium有什么关系呢?如果 ...
- Extjs6（四）——侧边栏导航根据路由跳转页面
本文基于ext-6.0.0 之前做的时候这个侧边栏导航是通过tab切换来切换页面的,但是总感觉不太对劲,现在终于发现怎么通过路由跳转了,分享给大家,可能有些不完善的地方,望大家读后可以给些指点.欢迎留 ...
- 【爬虫入门手记03】爬虫解析利器beautifulSoup模块的基本应用
[爬虫入门手记03]爬虫解析利器beautifulSoup模块的基本应用 1.引言 网络爬虫最终的目的就是过滤选取网络信息,因此最重要的就是解析器了,其性能的优劣直接决定这网络爬虫的速度和效率.Bea ...