RGB-D对红外热像仪和毫米波雷达标定

RGB-D对红外热像仪和毫米波雷达标定

Extrinsic Calibration of Thermal IR Camera and mmWave Radar by Exploiting Depth from RGB-D Camera

摘要

尽管RGB相机和激光雷达用途广泛，但据报道，在低能见度的环境下容易受到火灾或烟雾的影响。为了解决这个问题，我们引入了一个由红外热像仪和毫米波雷达组成的传感器系统。在此过程中，需要在两个传感器之间进行外部标定，而雷达的14位温度和稀疏距离测量的标定是一个挑战。提出了一种利用RGB-D传感器作为深度优化中介的多模态标定方法。为了验证相对位姿估计的正确性，我们提出了将雷达深度投影到红外相机坐标系上的定性结果。

主要贡献:使用LM算法通过RGB-D的深度信息进行红外相机与毫米波雷达的外参标定。

图1 外参标定结果 （b）在红外热图像上投影深度图像（c）

利用估计的外部参数在红外图像上叠加毫米波雷达点。

K是红外相机的内参，u是像素点，下表t，c，r分别代表红外相机、RGBD相机以及毫米波雷达。

为了找到红外相机和毫米波雷达之间的外部标定参数，我们在红外图像上得到了N组数据在每个RGB-D相机和毫米波雷达深度点上最小值、最大值以及中间值。对N个元素的损失函数进行优化，如（2）所示。

相关技术，可以参考另外一篇文章

Robust Intrinsic and Extrinsic Calibration of RGB-D Cameras

论文地址：https://arxiv.org/pdf/1701.05748.pdf

本文的主要贡献如下：

•一般和实验支持的测量错误模型，很好地描述了深度传感器类型统一。

•空间/参数不失真地图，一种紧凑有效的方法结构光深度传感器。

•一个新的优化框架，旨在估计摄像机深度传感器的刚性位移以及描述系统误差的参数模型关于深度测量。

•拟议方法的开源实现，集成在ROS（机器人操作系统）内框架[7]。

代码以及校准过程可在以下网站上获得：http://iaslab-unipd.github.io/rgbd校准