论文笔记：Learning regression and verification networks for long-term visual tracking

Learning regression and verification networks for long-term visual tracking

2019-02-18 22:12:25

Paper：https://arxiv.org/abs/1809.04320

Code：https://github.com/xiaobai1217/MBMD

一、文章动机：

本文是为了更好的处理长期跟踪问题，而提出一种结合 Regression 和 Classification Network 的跟踪方法。因为常规的视觉跟踪依赖于 Tracking-by-detection 框架，这种框架自带的局部搜索机制无法很好的处理快速运动，目标的完全消失等挑战性因素。所以，如何针对这些问题，设计基于全局的搜索机制是一个非常值得研究的问题。本文也采用了 Local 和 Global search 相结合的策略，来处理这一问题。

二、跟踪流程：

整体的流程图如上图所示， 主要包含 Regression Network 和 Verification Network。其中回归网络的作用主要是特征提取+候选框产生；而验证网络的作用是为了提供更好的打分依据（基于 MDNet 强大的判别能力）。

1. Regression Network：

该网络采用 SSD 检测框架以及 MobileNet 为特征提取器。两路网络共享相同的网络结构。由于 Search Region 和 Template 的大小并不一致，所以这里会有两个 feature map 输出。这两个 feature map 将会进行融合，输入到 RPN 网络中。融合的过程如下图所示：

经过 RPN 之后，再利用 NMS 进行 BBox 的筛选，得到候选框。在上述过程中，很自然的有如下的疑问：为什么要将 Template 和 Search Region 进行融合？这里作者给出的解释是：to provide the region proposal networks with representative features of the search region。相当于简单的进行了一次 Siamese FC 的操作，得到了目标物体的响应图。这样，RPN 网络更容易进行 Proposal 的生成（or 生成高质量的 Proposal）。

2. Verification Network：

有了上述产生的候选框，紧接着引入分类网络进行候选框的打分。这里就是将上述 proposal 输入到一个分类网络中，得到是前景还是背景的得分。

3. Tracking Strategy：

如果是基于 Tracking-by-detection framework，已经可以进行跟踪了，并且可以取得还不错的效果。但是，Local 的搜索机制无法很好的处理上述提到的 短暂消失等问题。所以，作者这里采用阈值控制法，即，根据是否阈值的高低，来推测当前帧是否发生了物体完全消失的情况，实现 Local search 和 Global search 的切换。Global Proposal 产生的方法也是基于滑动窗口的方式进行的。该阈值的计算方式如下（由 Regression 和 Verification 的结果共同决定）：

三、实验结果：

四、总结：

本文针对 Long-term Tracking 设计的思路，但是短暂消失，物体的突变等因素引起的问题，在常规的 Visual Tracking 中也是存在的。而且，文章采用了较为粗暴的滑动窗口的方式进行 Global Proposal 的产生，这可能导致在多个相似目标出现时，导致跟踪失败。因为此时的 BBox 可能就跑到其他类似物体上去了。这也是跟踪算法与真正的智能跟踪算法最具有差异性的地方。如何提取更加高质量的 Proposal，请参考我们最新提出的目标驱动的全局搜索方法：Describe and Attend to Track: Learning Natural Language guided Structural Representation and Visual Attention for Object Tracking。