Omnidirectional DSO: Direct Sparse Odometry with Fisheye Cameras　论文摘要

1. Abstract

通过一种Unified Omnidirectional Model作为投影方程。
这种方式可以使用图像的所有内容包括有强畸变的区域，而现存的视觉里程计方案只能修正或者切掉来使用部分图像。
关键帧窗口中的模型参数是被联合优化的，包括相机的内外参，3D地图点，仿射亮度参数。
因为大FoV，帧间的重合区域更大，并且更spatially distributed.
我们的算法更牛逼。

1. Introduction

我们用了一个unified omnidirectional model在fixed-lag smoothing approach.

2. Related Work

Pose graph忽略了关键帧间fine-grained(细纹理的) 的相关，并且需要线性化和高斯估计来浓缩测量。

有一个Omnidirectional LSD-SLAM方案甚至可以用大于180°的相机FoV。

4. Camera Models

A. Pinhole Model

\[
\pi_{u}(\mathbf{x})=\left[\begin{array}{ll}{f_{x}} & {0} \\ {0} & {f_{y}}\end{array}\right]\left[\begin{array}{l}{x / z} \\ {y / z}\end{array}\right]+\left[\begin{array}{l}{c_{x}} \\ {c_{y}}\end{array}\right]
\]

针孔投影模型假设被估计的3D点是在图像平面上方的, i.e.　他们的深度是比焦距大的，这限制了FoV得小于180°。

B. Unifed Omnidirectional Model

这个模型的优势:

可以准确model很多图像设备和镜头的geometric image formation。
反投影函数$ \pi^{-1}$是closed-form.　一个3D点是先投影到单位球，然后投到针孔相机模型with an z-axis offset $-\xi$。

\[
\pi_{u}(\mathbf{x})=\left[\begin{array}{c}{f_{x} \frac{x}{z+\|\mathbf{x}\| \xi}} \\ {f_{y} \frac{y}{z+\|\mathbf{x}\| \xi}}\end{array}\right]+\left[\begin{array}{c}{c_{x}} \\ {c_{y}}\end{array}\right]
\]

这里\[\|\mathbf{x}\|\]是ｘ的norm.
\[
\begin{array}{l}{\pi_{u}^{-1}(\mathbf{u}, d)} \\ {\qquad=\frac{1}{d}\left(\frac{\xi+\sqrt{1+\left(1-\xi^{2}\right)\left(\tilde{u}^{2}+\tilde{v}^{2}\right)}}{\tilde{u}^{2}+\tilde{v}^{2}+1}\left[\begin{array}{l}{\tilde{u}} \\ {\tilde{v}} \\ {1}\end{array}\right]-\left[\begin{array}{l}{0} \\ {0} \\ {\xi}\end{array}\right]\right)}\end{array}
\]

5. System Overview

A. Model Formulation

标识photometric error的能量函数:
\[
E_{\mathbf{p} j} :=\sum_{\mathbf{p} \in N_{p}} w_{p}\left\|\left(I_{j}\left[\mathbf{p}^{\prime}\right]-b_{j}\right)-\frac{t_{j} e^{a_{j}}}{t_{i} e^{a_{i}}}\left(I_{i}[\mathbf{p}]-b_{i}\right)\right\|_{\gamma}
\]
第i帧上的一个点p投影到第j帧，用一个patch $N_p$上的灰度误差平方和SSD (Sum of Squared Differences) ,$w_p$是基于梯度的权重。$\|\cdot\|_{\gamma}$$是一个huber norm.
\[
\begin{array}{l}{\mathbf{p}^{\prime}=\pi\left(\mathbf{R} \pi^{-1}\left(\mathbf{p}, d_{p}\right)+\mathbf{t}\right)} \\ {\text { with }} \\ {\qquad\left[\begin{array}{cc}{\mathbf{R}} & {\mathbf{t}} \\ {0} & {1}\end{array}\right] :=\mathbf{T}_{\mathbf{j}} \mathbf{T}_{\mathbf{i}}^{-1}}\end{array}
\]
滑窗里的光度误差项是:
\[
E_{\text {photo}} :=\sum_{i \in F} \sum_{\mathbf{p} \in P_{i}} \sum_{j \in o b s(\mathbf{p})} E_{\mathbf{p} j}
\]

B. Distance Estimation along with Epipolar Curve

当一帧被成功track了，我们用stereo matching来refine候选点的逆深度。

DSO在极线上搜索匹配。但是当在鱼眼图上用unified omnidirectional model来做的时候，就变成一条曲线（更准确的说是锥线。

极曲线：我们在单位球上定义两个点$\mathbf{p}_{0}, \mathbf{p}_{\infty} \in \mathbb{R}^{3}$围绕在投影中心$C_{ref}$上，来对应最大最小的逆深度\[d_{max}, d_{min}\].
\[
\begin{aligned} \mathbf{p}_{0} & :=\pi_{s}\left(\mathbf{R} \pi_{u}^{-1}\left(\mathbf{p}, d_{\min }\right)+\mathbf{t}\right) \\ \mathbf{p}_{\infty} & :=\pi_{s}\left(\mathbf{R} \pi_{u}^{-1}\left(\mathbf{p}, d_{\max }\right)+\mathbf{t}\right) \end{aligned}
\]
然后线性插值with $\alpha \in [0, 1]$
\[
\mathbf{p}_{L}(\alpha) :=\alpha \mathbf{p}_{0}+(1-\alpha) \mathbf{p}_{\infty}
\]
我们通过把这个线投影到目标图像来获得极曲线。
\[
\mathbf{u}_{L}(\alpha) :=\pi_{u}\left(\mathbf{p}_{L}(\alpha)\right)
\]

C. Frame Management

Initial Frame Tracking:

5层金字塔，场景和亮度变化是持续估计。

Keyframe Creation

当关键帧被创建的时候，候选点会基于space distribution and image gradient来被选择。我们用初始化的逆深度和大variance来给这些点。后续有帧被tracked的话，来refine点的深度。

Keyframe Marginalization

当超过７帧关键帧的时候，旧的点和帧就会被边缘化掉。heuristic distance

Windowed Optimization

6. Evaluation

A. TUM SLAM for Omnidirectional Cameras Dataset

提供了室内鱼眼数据和真值. 是global shutter的，然后是185°FoV. 1280 ×1024分辨率。

我们把图crop然后scale到480×480的。

1) Accuracy Comparison

DSO在精度和鲁棒性上比SVO和LSD-SLAM厉害。

Unified Omnidirectional camera model更提高了DSO和LSD-SLAM的表现。

2) Benefit of Large Field of View

3) Timing measurement

视角广的话，关键帧插入就少了，mapping快了。

B) Oxford Robotcar Dataset

这数据有100组重复的路线，并且有着不同的光照，交通场景。

7. Conclusions

反正我们牛逼。