视觉SLAM算法框架解析(1) PTAM
版权声明:本文为博主原创文章,未经博主允许不得转载。
本系列文章旨在总结主流视觉SLAM算法的框架,对比各个算法在子模块的差异,最终提炼出融合各个算法优点的架构。
PTAM[1]是视觉SLAM领域里程碑式的项目。在此之前,MonoSLAM[2]为代表的基于卡尔曼滤波的算法架构是主流,它用单个线程逐帧更新相机位置姿态和地图。地图更新的计算复杂度很高,为了做到实时处理(30Hz),MonoSLAM每帧图片只能用滤波的方法处理约10~12个最稳定的特征点。PTAM最大的贡献是提出了tracking、mapping双线程的架构,tracking线程只需要逐帧更新相机位置姿态,可以很容易实现实时计算;而mapping线程并不需要逐帧更新,有更长的处理时间,原来只能用在离线SfM(Structure from Motion)的BA(Bundle Adjustment)也可以用起来。这种基于优化的算法比滤波法在单位计算时间可以得到更高的精度[3]。这种多线程的处理方式也更顺应现代CPU的发展趋势。之后的视觉SLAM算法几乎全部沿用了这一思想。
在tracking线程,地图(由地图点和关键帧组成)是已知且固定的。对图片构造金字塔的目的有两个:1)加快匹配;2)提高地图点相对于相机远近变化时的鲁棒性。FAST是常用的特征点,优点是快,缺点是不鲁棒。通常会先提取出大量的(成百上千个)FAST特征,然后用各种约束剔除误匹配。基于运动模型(PTAM选用减速模型,一般匀速模型更常见)假定当前帧的初始位置姿态,把地图点投影到当前帧,建立起当前帧和关键帧(每个地图点会关联第一次观察到它的关键帧)的联系。随后在匹配点附近找一块小区域(这就是所谓的patch),通过比较当前帧和关键帧的patch的相似度(计算SSD),可以剔除误匹配(值得注意的是,这里的patch匹配和直接法里的光流跟踪是不同的,这里只是单纯为了剔除误匹配,两帧的相对位置姿态是通过最小化重投影误差得到的)。为了去除观测位置姿态不同的影响,会在匹配前对patch做仿射变换,直观的解释是:正方形从另一个角度看是平行四边形。Patch匹配的另一个用处是提高匹配点的精度,可以用插值得到亚像素级别的坐标,这对于金字塔高层图片上的匹配点帮助很大。找到一系列匹配点之后,就可以优化求解当前帧的位置姿态,优化通常是在李群求解。PTAM为了加速计算,设计了从粗到细两轮求解过程,粗测阶段只考虑金字塔最高层图片上的少量匹配点(50个),优化出的位置姿态作为精测阶段的初值,精测阶段会纳入更多匹配点(1000个)和金字塔所有层。从粗到细两轮求解的缺点是会增加抖动(jitter),改进的办法是在接近静止的状态下跳过粗测直接进入精测阶段。PTAM用三个级别评判tracking质量:好、不好、丢失。只会在“好”的状态下插入新关键帧和地图点,如果“丢失”,会有简单的重定位功能(在所有关键帧中找相似的)。
在mapping线程,优化对象是地图点位置和关键帧位置姿态,不再考虑当前帧的位置姿态。先利用两帧图片初始化,具体方法是先五点法加RANSAC求出初值,然后所有匹配点(约1000个)BA优化。由于是单目,所以尺度是未知的,当做常数固定下来。首先从以下几个角度判断当前帧是否是关键帧:1)tracking效果好;2)距离上一个关键帧至少20帧图片;3)距离最近的地图点大于一个阈值,这是为了保证baseline足够大。如果当前帧不是关键帧,则做BA优化。PTAM把BA优化分为局部和全局两部分,这和tracking线程从粗到细两轮求解是一个思路,都是为了降低计算复杂度,加速求解。在局部BA阶段,只考虑滑动窗内的关键帧(5帧),以及它们能观测到的所有地图点。额外的约束是能观测到这些地图点的其他关键帧,这些关键帧固定不动,并不是优化对象。全局BA阶段,优化对象纳入所有的关键帧和地图点。在闲暇时间mapping线程可以利用旧的关键帧改善地图,要么从旧的关键帧观察新添加的地图点,要么重新测量之前被剔除的外点,如果被成功观测并收敛,则作为新的地图点插入地图。如果当前帧是关键帧,则做两件事情:1)把所有地图点投影到这个新的关键帧(tracking线程处于计算量的考虑只投影了一部分地图点),为之后的BA做准备;2)生成新的地图点,会对新关键帧的特征点做非极大值抑制,并筛选出最显著(Shi-Tomasi分数)的一批特征点,然后在最近的关键帧上沿极线搜索匹配点,只要能找到匹配点,就三角化出地图点。
参考文献:
[1] Klein G, Murray D. Parallel tracking and mapping for small AR workspaces[C]//Mixed and Augmented Reality, 2007. ISMAR 2007. 6th IEEE and ACM International Symposium on. IEEE, 2007: 225-234.
[2] Davison A J, Reid I D, Molton N D, et al. MonoSLAM: Real-time single camera SLAM[J]. IEEE transactions on pattern analysis and machine intelligence, 2007, 29(6): 1052-1067.
[3] Strasdat H, Montiel J M M, Davison A J. Real-time monocular SLAM: Why filter?[C]//Robotics and Automation (ICRA), 2010 IEEE International Conference on. IEEE, 2010: 2657-2664.
视觉SLAM算法框架解析(1) PTAM的更多相关文章
- 视觉SLAM算法框架解析(3) SVO
版权声明:本文为博主原创文章,未经博主允许不得转载. SVO(Semi-direct Visual Odometry)[1]顾名思义是一套视觉里程计(VO)算法.相比于ORB-SLAM,它省去了回环检 ...
- 视觉SLAM算法框架解析(2) ORB-SLAM
版权声明:本文为博主原创文章,未经博主允许不得转载. ORB-SLAM[1]完全继承了PTAM(http://www.cnblogs.com/zonghaochen/p/8442699.html)的衣 ...
- SLAM学习笔记(2)SLAM算法
SLAM算法分为三类:Kalman滤波.概率滤波.图优化 Kalman滤波方法包括EKF.EIF:概率滤波包括RBPF,FastSLAM是RBPF滤波器最为成功的实例, 也是应用最为广泛的SLAM方法 ...
- 视觉SLAM的主要功能模块分析
视觉SLAM的主要功能模块分析 一.基本概念 SLAM (simultaneous localization and mapping),也称为CML (Concurrent Mapping and L ...
- 转:SLAM算法解析:抓住视觉SLAM难点,了解技术发展大趋势
SLAM(Simultaneous Localization and Mapping)是业界公认视觉领域空间定位技术的前沿方向,中文译名为“同步定位与地图构建”,它主要用于解决机器人在未知环境运动时的 ...
- 经典视觉SLAM框架
经典视觉SLAM框架 整个视觉SLAM流程包括以下步骤: 1. 传感器信息读取.在视觉SLAM中主要为相机图像信息的读取和预处理. 2. 视觉里程计(Visual Odometry,VO).视觉里程计 ...
- 视觉SLAM之词袋(bag of words) 模型与K-means聚类算法浅析
原文地址:http://www.cnblogs.com/zjiaxing/p/5548265.html 在目前实际的视觉SLAM中,闭环检测多采用DBOW2模型https://github.com/d ...
- 视觉SLAM之词袋(bag of words) 模型与K-means聚类算法浅析(1)
在目前实际的视觉SLAM中,闭环检测多采用DBOW2模型https://github.com/dorian3d/DBoW2,而bag of words 又运用了数据挖掘的K-means聚类算法,笔者只 ...
- TLD视觉跟踪算法(转)
源:TLD视觉跟踪算法 TLD算法好牛逼一个,这里有个视频,是作者展示算法的效果,http://www.56.com/u83/v_NTk3Mzc1NTI.html.下面这个csdn博客里有人做的相关总 ...
随机推荐
- UVALive 4487 Exclusive-OR 加权并查集神题
已知有 x[0-(n-1)],但是不知道具体的值,题目给定的信息 只有 I P V,说明 Xp=V,或者 I P Q V,说明 Xp ^ Xq=v,然后要求回答每个询问,询问的是 某任意的序列值 Xp ...
- 科学 multi port
issues/679 create new UUID cat /proc/sys/kernel/random/uuid example config : multi port , multi user ...
- tf.summary可视化参数
1.tf.summary.scalar('accuracy', accuracy) 损失值.准确率随着迭代次数的进行,其指标变化情况:一般在画loss,accuary时会用到这个函数. 2.tenso ...
- 初学C#之变量、占位符、转义符、还有就是类型转换
㈠.定义变量 先定义再赋值 int Num1; Num1 = ; 定义的同时赋值 ; 定义多个变量同时赋值,先决条件变量类型相同,例如: string phome = "1891250888 ...
- UML-使用多态性和“Do It Myself”模式处理支付
1.概念 "Do It Myself"使用多态性(和信息专家),这是常见的方法. Do It Myself:我(一个软件对象)是对实际对象的抽象,由我来完成这些通常由实际对象所完成 ...
- grep sed akw
sed参考 #打印2-4行 [root@localhost ~]# sed -n '2,4p' test [root@localhost ~]# awk 'NR==2,NR==4{print}' te ...
- Java之创建线程的方式四:使用线程池
import java.util.concurrent.ExecutorService;import java.util.concurrent.Executors;import java.util.c ...
- JDK的3个bug啊,你get到了吗?
1.Annotation引用非空enum数组返回空数组 首次发现时的环境:JDK 1.8 首次发现所在项目:APIJSON 测试用例: publicenumRequestRole {/**未登录,不明 ...
- JAVA 算法练习(三)
拆解排序问题 后缀子串排序 题目: 对于一个字符串,将其后缀子串进行排序,例如grain 其子串有: grain rain ain in n 然后对各子串按字典顺序排序,即: ain,grain,in ...
- 当初希望自己是如何投入这个专业的学习的?曾经做过什么准备,或者立下过什么FLAG吗?
学习好累,打游戏好爽 我不爱学习 认真勤勉投入学习 精心准备,刻苦学习 我的flag 作为大学生,需要了解今后职场社会,对职业方向有了进一步的认识.社会对于人才的要求在某些方面都是不谋而合的,比 ...