多目标跟踪(MOT)评测标准

MOT16是多目标跟踪领域非常有名的评测数据集，Ref 1详细阐述了这个数据集的组成以及评测标准（及其评测代码），Ref 2详细地解释了许多标准的由来和考虑，本部分主要介绍MOT任务中常用的评测标准。

Reference:

1. "MOT16: A Benchmark for Multi-Object Tracking" (http://arxiv.org/pdf/1603.00831.pdf)
2. "Evaluating Multiple Object Tracking Performance: The CLEAR MOT Metrics" (https://link.springer.com/content/pdf/10.1155%2F2008%2F246309.pdf)

MOT16评测代码：http://motchallenge.net/devkit

1. MOTA ( Multiple Object Tracking Accuracy)

其中，FN为False Negative，FP为False Positive，IDSW为ID Switch，GT为Ground Truth 物体的数量。MOTA考虑了tracking中所有帧中对象匹配错误，主要是FN，FP，ID Switch。MOTA给出了一个非常直观的衡量跟踪器在检测物体和保持轨迹时的性能，与物体位置的估计精度无关。MOTA取值应小于100，当跟踪器产生的错误超过了场景中的物体，MOTA会为负数。需要注意的是，此处的MOTA以及MOTP是计算所有帧的相关指标再进行平均（既加权平均值），而不是计算每帧的rate然后进行rate的平均。

2. MOTP (Multiple Object Tracking Precision)

其中，d为检测目标i和给它分配的ground truth之间在所有帧中的平均度量距离，在这里是使用bonding box的overlap rate来进行度量（在这里MOTP是越大越好，但对于使用欧氏距离进行度量的就是MOTP越小越好，这主要取决于度量距离d的定义方式）；而c为在当前帧匹配成功的数目。MOTP主要量化检测器的定位精度，几乎不包含与跟踪器实际性能相关的信息。

3. MT (Mostly Tracked)

满足Ground Truth至少在80%的时间内都匹配成功的track，在所有追踪目标中所占的比例。注意这里的MT和ML与当前track的ID是否发生变化无关，只要ground truth与目标匹配上即可。

4. ML (Mostly Lost)

满足Ground Truth在小于20%的时间内匹配成功的track，在所有追踪目标中所占的比例。

5. ID Switch

Ground Truth所分配的ID发生变化的次数，如图1中(a)所示。

6. FM (Fragmentation)

FM计算的是跟踪有多少次被打断（既Ground Truth的track没有被匹配上），换句话说每当轨迹将其状态从跟踪状态改变为未跟踪状态，并且在稍后的时间点跟踪相同的轨迹时，就会对FM进行计数。此处需要注意的是，FM计数时要求ground truth的状态需要满足：tracked->untracked->tracked，如图1中(b)所示，而(c)中的不算FM。需要注意的是，FM与ID是否发生变化无关。

7. FP (False Positive)

当前帧预测的track和detection没有匹配上，将错误预测的track点称为FP，如图1所示。是否匹配成功与匹配时所设置的阈值有关。

8. FN (False Negative)

当前帧预测的track和detection没有匹配上，将未被匹配的ground truth点称为FN（也可以称为Miss），如图1所示。

图1 Tracker-to-target匹配示意图