目标检测 - TridentNet

转载： https://zhuanlan.zhihu.com/p/54334986

http://haha-strong.com/2019/07/25/20190725-TridentNet/

开源代码：https://github.com/TuSimple/simpledet/tree/master/models/tridentnet

Facebook detectron2 官方收录：https://github.com/facebookresearch/detectron2/tree/master/projects/TridentNet

算法思路

将网路backbone最后一个改成三个不同卷积率的卷积层并联，实现对不同尺度特征的提取。
如下图所示：

motivation

对于一个backbone net而言有几个因素会影响他们的性能，下采样率、网络深度以及感受野。前面两个因素已经有人研究过了，对于目标检测中的感受野的影响还没有人专门对此进行研究。本文通过对网的最后一个backbone中的卷积层改变卷积的空洞率以实现输出特征的感受野的调整。实验证明，不同的感受野对不同尺度目标的检测有着不同的影响，大的感受野对尺度较大的目标检测性能较好，小的感受野对小目标的检测性能较好。

做法

作者提出的网络框架如下图所示：

如上图所示，作者在特征提取的最后一层增加了一个多分支的卷积层，用来提取不同尺度的特征信息。为了减少网络参数量这几个网络共享参数，便于网络的优化，在这里作者通过实验验证当采用三个不同卷积空洞率时网络的性能最佳。实验结果如下图所示：

Figure 3: A trident block constructed from a bottleneck residual block.

同时，作者也通过实验证明将TridentNet添加在最后一层对网络的性能提升是最佳的：

facebook/detectron2中TridentNet快速版本就是将ResNet50中的res4中某个卷积替换为TridentConv即可，并且这里TridentConv中不同空洞率的卷积最后是通过concat后输出，也就是可以无缝替换到ResNet结构中：

Scale-aware training Scheme

最后一个设计则是借鉴SNIP，为了避免receptive field和scale不匹配的情况，TridentNet对于每一个branch只训练一定范围内尺度样本，避免极端scale的物体对于性能的影响，根据ground truth box的宽w和高h，对每个分支branch i 选择proposal 的ROI的最大最小尺度为：li和ui。

性能

上图所示，是该算法与现有算法的性能比较。这些算法都采用相同的网络backbone，ResNet-101.
与采用多层特征融合的SSD算法相比，本算法性能提升10个点左右。
与Fastr-RCNN相比，本算法较之有8个点的性能提升。
同时，多分支不同空洞率和可行变卷积的联合使用可以将网络的性能比提升6个点左右。表明不同感受野的应用有助于算法对不同目标的检测。

总结一下

TridentNet在原始的backbone上做了三点变化：第一点是构造了不同receptive field的parallel multi-branch，第二点是对于trident block中每一个branch的weight是share的。第三点是对于每个branch，训练和测试都只负责一定尺度范围内的样本，也就是所谓的scale-aware。这三点在任何一个深度学习框架中都是非常容易实现的。