Real-time Multiple People Tracking with Deeply Learned Candidate Selection and Person Re-identification

Real-time Multiple People Tracking with Deeply Learned Candidate Selection and Person Re-identification

2019-06-21 15:45:11

Paper: https://arxiv.org/abs/1809.04427

Code: https://github.com/longcw/MOTDT

1. Background and Motivation: 

多目标跟踪的核心思想是数据连接（data association），但是受到不可靠检测结果的影响，MOT 的性能也受到了很大程度上的干扰。本文将 detection 和 tracking 的结果都用于数据的匹配，同时还将 person re-ID 任务中学习到的 feature，结合到 MOT。核心贡献主要为：

1). 通过将 detection 和 tracking 的结果组合为候选，以处理在线跟踪中不可靠检测的问题；

2). 采用了多级的数据连接策略，使用了空间信息和 person re-ID 的 feature；

3). 取得了不错的效果。

2. The Proposed Tracker：

2.1 Overview 

作者用一个联合的 scoring function 首先衡量所有候选的得分；该 scoring function 是由：判别性训练的物体分类器和 tracklet confidence 构成的。

然后用 NMS（Non-Maximal supression）在预测的得分上进行处理。

在得到候选后，作者联合利用 appearance representation 和 spatial information 来进行数据连接。

2.2 Real-Time Object Classification:

本文采用的 classifier 如图 2 所示。给定视频帧，整张图的 score map 可以通过 encoder-decoder 的全卷积网络得到。Encoder 部分是一个轻量级的卷积模块，Decoder 是用于增大输出 score map 的分辨率进行后续的分类。每一个需要分类的候选，被定义为：a region of interest (RoI) x = (x0, y0, w, h)。为了显示的编码空间信息，作者采用了 position-sensitive RoI pooling layer 并且从 $k^2$ position-sensitive score maps z 上预测分类概率。特别的，我们将 RoI 划分为 $k * k$ 个单元。RoI x 的最终得分为：

其中，$z_i$ 代表第 i 个 score map。

2.3 Tracklet Confidence and Scoring Function ：

给定新的视频帧，我们用 Kalman filter 来预测目标的新位置。此外，Tracklet confidence 被设计用于衡量带有时序信息的 filter 的精度。

从连续的视频中，通过 candidates 的链接可以产生 tracklet。我们可以将 track 划分为多个 tracklets，因为单个的 track 是可以被打断的和被检索到的。

当 track 从丢失状态被检索回来时，Kalman filter 将会被重新初始化。所以，仅最后 tracklet 的信息被用于衡量 track 的置信度。此处，我们定义 $L_{det}$ 为 tracklet 相关的 detection 结果的个数，$L_{trk}$ 在上一次检测被连接后的 track 预测的个数。所以，tracklet confidence 被定义为：

其中，空心字符 1 代表 1/0 的取值，当输入为真时，取值为 1，否则为 0。

候选 x 的联合 scoring function 为：

此处，$C_{det}$ 代表来自 detection 的候选，$C_{trk}$ 代表来自 tracks 的候选。

2.4 Appearance Representation with ReID Features :

采用现有的 person re-ID 模型，进行特征的学习，详情见 paper：

Liming Zhao, Xi Li, Jingdong Wang, and Yueting Zhuang, “Deeply-learned part-aligned representations for person reidentification,” in ICCV, 2017.

2.5  Hierarchical Data Association :

tracks 被用于处理丢失的检测结果（在拥挤的场景下）。由于受到 intra-category occlusion 的影响，这些预测会受到其他物体的干扰。为了避免将其他不需要的物体和背景结合到外观表达中，作者用不同的 feature 将 tracks 和 不同的 candidates 进行连接。

特别的，作者首先在 detection 结果上进行 data association（设置阈值）。

然后，作者基于 candidates 和 tracks 之间的 IoU 对剩余的 candidates 和 unassociated tracks 进行连接。

算法的整体流程如下所示：

3. Experiments：

==