SLAM与AI的强强联合

本文默认大家已经熟知SLAM、导航、常见AI算法（比如深度学习、强化学习、卷积神经网络、监督学习）等基本概念，不熟的小伙伴可以从我已经出版的书籍《机器人SLAM导航核心技术与实战》中进行系统性的学习。AI与SLAM的结合大致分为3个思路：

  • 思路1：用AI实现SLAM的所有功能
  • 思路2：用AI改进SLAM的部分功能
  • 思路3：介于思路1和思路2之间

第1种思路就是简单粗暴地用AI直接实现SLAM，也就是所谓的端到端方法（End-to-End），下面即将介绍的UnDeepVO和NeuralRecon就是典型代表。第2中思路是用AI改进SLAM中的个别功能模块，比如基于AI方法的特征匹配、重定位、深度估计、语义理解等，比如CNN-SLAM就是典型代表。当然更多的是介于思路1和思路2之间的方法，所以很多算法其实很难对其进行分类。为了方便讨论，下面仅从解决具体问题的角度介绍一些比较有代表性的AI+SLAM方法，包括：端到端视觉里程计、端到端建图、端到端定位导航、特征匹配、重定位、深度估计、语义理解、语义SLAM。

温馨提示

本篇文章已经收录在我最新出版的书籍《机器人SLAM导航核心技术与实战》，感兴趣的读者可以购买纸质书籍来进行更加深入和系统性的学习，购买链接如下：

一、端到端视觉里程计

1.基于无监督深度学习的单目视觉里程计：

关键词：单目相机实时位姿估计、单目图像深度信息重建

论文：UnDeepVO: Monocular Visual Odometry through Unsupervised Deep Learning

源码：-

年份：2018

2.基于自监督学习的运动估计：

关键词：自监督学习、位姿估计、深度重建

论文：Beyond Photometric Loss for Self-Supervised Ego-Motion Estimation

源码：https://github.com/hlzz/DeepMatchVO

年份：2019

二、端到端建图

1.单目相机实时连续三维建图：

关键词：单目相机、神经网络、TSDF、三维建图

论文：NeuralRecon: Real-Time Coherent 3D Reconstruction from Monocular Video

源码：https://github.com/zju3dv/NeuralRecon

年份：2021

2.半监督单目稠密重建：

关键词：半监督、稠密重建、单目

论文：MonoRec：Semi-Supervised Dense Reconstruction in Dynamic Environments from a Single Moving Camera

源码：https://github.com/Brummi/MonoRec

年份：2021

三、端到端定位导航

1.可变端到端定位与导航：

关键词：端到端、定位、导航

论文：Variational End-to-End Navigation and Localization

源码：-

年份：2019

四、特征匹配

1.基于深度学习特征提取的路标特征匹配：

关键词：深度学习、特征提取、特征匹配

论文：Improving Keypoint Matching Using a Landmark-Based Image Representation

源码：https://github.com/Hansry/Keypoint-Matching-Based-on-Landmark-Representation

年份：2019

2.基于深度学习的2D图像到3D点云的特征匹配：

关键词：深度学习、2D图像、3D点云、特征匹配

论文：2D3D-MatchNet: Learning to Match Keypoints Across 2D Image and 3D Point Cloud

源码：-

年份：2019

五、重定位

1.基于深度学习视觉位置识别的重定位：

关键词：卷积神经网络、路标定位网络、视觉位置识别

论文：Localizing Discriminative Visual Landmarks for Place Recognition

源码：-

年份：2019

2.基于迁移学习的视觉位置识别：

关键词：迁移学习、视觉位置识别

论文：A Multi-Domain Feature Learning Method for Visual Place Recognition

源码：

年份：2019

六、深度估计

1.基于深度学习的深度估计：

关键词：深度估计、深度学习

论文：Geo-Supervised Visual Depth Prediction

源码：https://github.com/feixh/GeoSup

年份：2019

 

七、语义理解

1.自动驾驶的实时语义推理：

关键词：街道分类、车辆识别、道路分割

论文：MultiNet: Real-time Joint Semantic Reasoning for Autonomous Driving

源码：https://github.com/MarvinTeichmann/MultiNet

年份：2018

2.实时语义分割网络：

关键词：跳跃结构、UNet、扩张前端

论文：SHUFFLESEG: REAL-TIME SEMANTIC SEGMENTATION NETWORK

源码：https://github.com/MSiam/TFSegmentation

年份：2018

3.基于自组织网络的点云语义解析：

关键词：自组织网络、点云特征提取、点云语义解析

论文：SO-Net: Self-Organizing Network for Point Cloud Analysis

源码：https://github.com/lijx10/SO-Net

年份：2018

八、语义SLAM

1.基于卷积神经网络的稠密三维语义建图：

关键词：语义建图、三维稠密、卷积神经网络

论文：SemanticFusion: Dense 3D Semantic Mapping with Convolutional Neural Networks

源码：https://github.com/seaun163/semanticfusion

年份：2016

2.基于CNN语义融合的SLAM：

关键词：CNN、SLAM、语义融合

论文：CNN-SLAM: Real-time dense monocular SLAM with learned depth prediction

源码：https://github.com/iitmcvg/CNN_SLAM

年份：2017

参考文献

[1] 张虎，机器人SLAM导航核心技术与实战[M]. 机械工业出版社，2022.

序
前言
编程基础篇
第1章 ROS入门必备知识
1.1 ROS简介 2
1.1.1 ROS的性能特色 2
1.1.2 ROS的发行版本 3
1.1.3 ROS的学习方法 3
1.2 ROS开发环境的搭建 3
1.2.1 ROS的安装 4
1.2.2 ROS文件的组织方式 4
1.2.3 ROS网络通信配置 5
1.2.4 集成开发工具 5
1.3 ROS系统架构 5
1.3.1 从计算图视角理解ROS架构 6
1.3.2 从文件系统视角理解ROS架构 7
1.3.3 从开源社区视角理解ROS架构 8
1.4 ROS调试工具 8
1.4.1 命令行工具 9
1.4.2 可视化工具 9
1.5 ROS节点通信 10
1.5.1 话题通信方式 12
1.5.2 服务通信方式 15
1.5.3 动作通信方式 19
1.6 ROS的其他重要概念 25
1.7 ROS 2.0展望 28
1.8 本章小结 28
第2章 C++编程范式
2.1 C++工程的组织结构 29
2.1.1 C++工程的一般组织结构 29
2.1.2 C++工程在机器人中的组织结构 29
2.2 C++代码的编译方法 30
2.2.1 使用g++编译代码 31
2.2.2 使用make编译代码 32
2.2.3 使用CMake编译代码 32
2.3 C++编程风格指南 33
2.4 本章小结 34
第3章 OpenCV图像处理
3.1 认识图像数据 35
3.1.1 获取图像数据 35
3.1.2 访问图像数据 36
3.2 图像滤波 37
3.2.1 线性滤波 37
3.2.2 非线性滤波 38
3.2.3 形态学滤波 39
3.3 图像变换 40
3.3.1 射影变换 40
3.3.2 霍夫变换 42
3.3.3 边缘检测 42
3.3.4 直方图均衡 43
3.4 图像特征点提取 44
3.4.1 SIFT特征点 44
3.4.2 SURF特征点 50
3.4.3 ORB特征点 52
3.5 本章小结 54
硬件基础篇
第4章 机器人传感器
4.1 惯性测量单元 56
4.1.1 工作原理 56
4.1.2 原始数据采集 60
4.1.3 参数标定 65
4.1.4 数据滤波 73
4.1.5 姿态融合 75
4.2 激光雷达 91
4.2.1 工作原理 92
4.2.2 性能参数 94
4.2.3 数据处理 96
4.3 相机 100
4.3.1 单目相机 101
4.3.2 双目相机 107
4.3.3 RGB-D相机 109
4.4 带编码器的减速电机 111
4.4.1 电机 111
4.4.2 电机驱动电路 112
4.4.3 电机控制主板 113
4.4.4 轮式里程计 117
4.5 本章小结 118
第5章 机器人主机
5.1 X86与ARM主机对比 119
5.2 ARM主机树莓派3B+ 120
5.2.1 安装Ubuntu MATE 18.04 120
5.2.2 安装ROS melodic 122
5.2.3 装机软件与系统设置 122
5.3 ARM主机RK3399 127
5.4 ARM主机Jetson-tx2 128
5.5 分布式架构主机 129
5.5.1 ROS网络通信 130
5.5.2 机器人程序的远程开发 130
5.6 本章小结 131
第6章 机器人底盘
6.1 底盘运动学模型 132
6.1.1 两轮差速模型 132
6.1.2 四轮差速模型 136
6.1.3 阿克曼模型 140
6.1.4 全向模型 144
6.1.5 其他模型 148
6.2 底盘性能指标 148
6.2.1 载重能力 148
6.2.2 动力性能 148
6.2.3 控制精度 150
6.2.4 里程计精度 150
6.3 典型机器人底盘搭建 151
6.3.1 底盘运动学模型选择 152
6.3.2 传感器选择 152
6.3.3 主机选择 153
6.4 本章小结 155
SLAM篇
第7章 SLAM中的数学基础
7.1 SLAM发展简史 158
7.1.1 数据关联、收敛和一致性 160
7.1.2 SLAM的基本理论 161
7.2 SLAM中的概率理论 163
7.2.1 状态估计问题 164
7.2.2 概率运动模型 166
7.2.3 概率观测模型 171
7.2.4 概率图模型 173
7.3 估计理论 182
7.3.1 估计量的性质 182
7.3.2 估计量的构建 183
7.3.3 各估计量对比 190
7.4 基于贝叶斯网络的状态估计 193
7.4.1 贝叶斯估计 194
7.4.2 参数化实现 196
7.4.3 非参数化实现 202
7.5 基于因子图的状态估计 206
7.5.1 非线性最小二乘估计 206
7.5.2 直接求解方法 206
7.5.3 优化方法 208
7.5.4 各优化方法对比 218
7.5.5 常用优化工具 219
7.6 典型SLAM算法 221
7.7 本章小结 221
第8章 激光SLAM系统
8.1 Gmapping算法 223
8.1.1 原理分析 223
8.1.2 源码解读 228
8.1.3 安装与运行 233
8.2 Cartographer算法 240
8.2.1 原理分析 240
8.2.2 源码解读 247
8.2.3 安装与运行 258
8.3 LOAM算法 266
8.3.1 原理分析 266
8.3.2 源码解读 267
8.3.3 安装与运行 270
8.4 本章小结 270
第9章 视觉SLAM系统
9.1 ORB-SLAM2算法 274
9.1.1 原理分析 274
9.1.2 源码解读 310
9.1.3 安装与运行 319
9.1.4 拓展 327
9.2 LSD-SLAM算法 329
9.2.1 原理分析 329
9.2.2 源码解读 334
9.2.3 安装与运行 337
9.3 SVO算法 338
9.3.1 原理分析 338
9.3.2 源码解读 341
9.4 本章小结 341
第10章 其他SLAM系统
10.1 RTABMAP算法 344
10.1.1 原理分析 344
10.1.2 源码解读 351
10.1.3 安装与运行 357
10.2 VINS算法 362
10.2.1 原理分析 364
10.2.2 源码解读 373
10.2.3 安装与运行 376
10.3 机器学习与SLAM 379
10.3.1 机器学习 379
10.3.2 CNN-SLAM算法 411
10.3.3 DeepVO算法 413
10.4 本章小结 414
自主导航篇
第11章 自主导航中的数学基础
11.1 自主导航 418
11.2 环境感知 420
11.2.1 实时定位 420
11.2.2 环境建模 421
11.2.3 语义理解 422
11.3 路径规划 422
11.3.1 常见的路径规划算法 423
11.3.2 带约束的路径规划算法 430
11.3.3 覆盖的路径规划算法 434
11.4 运动控制 435
11.4.1 基于PID的运动控制 437
11.4.2 基于MPC的运动控制 438
11.4.3 基于强化学习的运动控制 441
11.5 强化学习与自主导航 442
11.5.1 强化学习 443
11.5.2 基于强化学习的自主导航 465
11.6 本章小结 467
第12章 典型自主导航系统
12.1 ros-navigation导航系统 470
12.1.1 原理分析 470
12.1.2 源码解读 475
12.1.3 安装与运行 479
12.1.4 路径规划改进 492
12.1.5 环境探索 496
12.2 riskrrt导航系统 498
12.3 autoware导航系统 499
12.4 导航系统面临的一些挑战 500
12.5 本章小结 500
第13章 机器人SLAM导航综合实战
13.1 运行机器人上的传感器 502
13.1.1 运行底盘的ROS驱动 503
13.1.2 运行激光雷达的ROS驱动 503
13.1.3 运行IMU的ROS驱动 504
13.1.4 运行相机的ROS驱动 504
13.1.5 运行底盘的urdf模型 505
13.1.6 传感器一键启动 506
13.2 运行SLAM建图功能 506
13.2.1 运行激光SLAM建图功能 507
13.2.2 运行视觉SLAM建图功能 508
13.2.3 运行激光与视觉联合建图功能 508
13.3 运行自主导航 509
13.4 基于自主导航的应用 510
13.5 本章小结 511
附录A Linux与SLAM性能优化的探讨
附录B 习题

SLAM与AI的强强联合的更多相关文章

  1. Learning ROS for Robotics Programming - Second Edition（《ROS机器人编程学习-第二版》）

    Learning ROS for Robotics Programming - Second Edition <ROS机器人编程学习-第二版> ----Your one-stop guid ...

  2. 目前大热的AI和SLAM的职业发展的想法

    目前,AI的研究和SLAM的发展已经走到使用领域.还记得三年前,上<信息光学>的老师在课上提到,他有一个研究生买了一个两万块的笔记本,还要出国去研究人工智能,当时听着认为这位学长很疯狂.可 ...

  3. [SLAM] Studying Guidance

    Books from Zhihu: 幽默一把 看完Gonzalez:嗯,好像很好玩的样子,我也来搞一搞.看完Price:什么鬼,怎么这么多公式,公式看不懂肿么破.看完Szeliski:原来用一千页的书 ...

  4. 光环国际联合阿里云推出“AI智客计划”

    2018阿里巴巴云栖大会深圳峰会3月28日.29日在大中华喜来登酒店举行,阿里云全面展示智能城市.智能汽车.智能生活.智能制造等产业创新. 3月28日下午,以"深化产教融合,科技赋能育人才& ...

  5. SLAM+语音机器人DIY系列：（三）感知与大脑——5.机器人大脑嵌入式主板性能对比

    摘要 在我的想象中机器人首先应该能自由的走来走去,然后应该能流利的与主人对话.朝着这个理想,我准备设计一个能自由行走,并且可以与人语音对话的机器人.实现的关键是让机器人能通过传感器感知周围环境,并通过 ...

  6. AI时代大点兵-国内外知名AI公司2018年最新盘点

    AI时代大点兵-国内外知名AI公司2018年最新盘点 导言 据腾讯研究院统计,截至2017年6月,全球人工智能初创企业共计2617家.美国占据1078家居首,中国以592家企业排名第二,其后分别是英国 ...

  7. 如何从零开始系统化学习视觉SLAM？

    由于显示格式问题,建议阅读原文:如何从零开始系统化学习视觉SLAM? 什么是SLAM? SLAM是 Simultaneous Localization And Mapping的 英文首字母组合,一般翻 ...

  8. 【将门创投】AI 往期技术分享

    计算机视觉 1. 嘉宾:商汤科技CEO 徐立 文章回顾:计算机视觉的完整链条,从成像到早期视觉再到识别理解 2. 嘉宾:格灵深瞳CTO 赵勇 文章回顾:计算机视觉在安防.交通.机器人.无人车等领域的应 ...

  9. 本人AI知识体系导航 - AI menu

    Relevant Readable Links Name Interesting topic Comment Edwin Chen 非参贝叶斯   徐亦达老板 Dirichlet Process 学习 ...

  10. info AI drive

    Who we look for Here at comma, we don't care about the source of your education or your traditional ...

随机推荐

  1. c# Lamda表达式 简化语法例子

    看到一个老代码里的方法,是判断两个string 数组是否存在相同的元素: 快一百行代码了..... public bool HasRole(string[] roleList) { bool resu ...

  2. 学习shamir秘密分享

    介绍 1979年Shamir在下文提出基于拉格朗日插值多项式的\((r,n)\)秘密共享方案(\(0<r \leq n\)).秘密拥有者通过构建一元多项式将秘密分为\(n\)份,接收方收集大于等 ...

  3. Kotlin：反引号中的函数命名、匿名函数、函数类型与隐式返回

  4. .NET9 AOT部署

    概念 AOT是Ahead-of-Time的缩写,AOT是将C#程序提前编译为机器代码(通常为平台特定的二进制文件),在应用程序启动之前完成编译过程. 微软官方文档是这样说的 将应用程序发布为本机 AO ...

  5. 记一次DAC转换功能修改的解决

    最近的项目捣鼓msp430需要用到dac转换以输出模拟信号,项目代码是接手前同事的 有些地方调试不通,以前没有接触过msp430芯片,更是没搞过这种芯片io口时序驱动层的东西,甚至纯c的都是头一次作为 ...

  6. CRISP-DM的应用与理解

    本文分享自天翼云开发者社区<CRISP-DM的应用与理解>,作者:吴****嫄 CRISP-DM是一个数据挖掘项目规划的开放标准流程框架模型,主要分为业务理解.数据理解.数据准备.建模.评 ...

  7. nacos(二)：原生java调用配置与服务实例

    本文主要介绍原生java连接nacos,操作nacos的共享配置与服务实例. 1.引入依赖 <dependencies> <dependency> <groupId> ...

  8. 面试必备！HR面常问的20个问题及高分回答秘诀

    HR面试一般会花大约20分钟,主要会问一些个人情况.处理事情的方法.工作经验.成长经历等相关问题. 当你到了HR面,基本上就代表你的面试已经通过了一大半了.不过,还是不要掉以轻心,HR面还是有可能会挂 ...

  9. 【COM3D2Mod 制作教程（2）】Mod 底层原理

    [COM3D2Mod 制作教程(2)]Mod 底层原理 Mod 是什么? Mod 一词想必你已经听过很多次了,因为很多游戏都可以装 Mod,而 Mod 可以为游戏增添一些额外的乐趣.但在 COM3D2 ...

  10. nacos(七): gateway(单体)

    这篇文章将从gateway的搭建.自动路由匹配.路由数组.跨域和路由过滤器五个方面对gateway项目展开讨论. 1.gateway的搭建 gateway的项目基本的搭建过程与消费者的搭建过程基本一致 ...