Visual Tracking with Fully Convolutional Networks

http://blog.csdn.net/carrierlxksuper/article/details/48918297

传统的跟踪方法依赖低维的人工特征，但这种特征对目标的外观变化等问题不够鲁棒。

与此相比，CNN从大量的数据中能够学到高级的信息，有较强的分类能力，这些特征有较好的泛化能力。

如果直接用CNN来跟踪的话，需要大量的数据来进行训练，这显然不合适。之前有人用DNN做在线跟踪并取得了不错的效果，但这个过程中，DNN被当做黑盒子来用。这篇文章从跟踪的角度研究了CNN特征的性质，发现了两个重要的性质：

首先，不同深度的CNN特征在跟踪时有不同的性质。顶层的卷积层获得了更抽象更高级的特征，这些特征能更好的区分不同种类的物体，处理形变遮挡时也更加鲁棒。

但如果是同类物体，这些特征的区分度并不好。更低卷积层提供了更细节的局部特征，这些特征能将具有相似外观的同类物体更好的区分开来。但在物体有较大形变时不够鲁棒。基于此，本文提出自动切换高低层进行跟踪。

其次，CNN的特征是从ImageNet上提前训练来区分物体的，但对于特定的物体来说，并不是所有特征都是有用于跟踪的，有些特征会被当做noise。如果把所有的特征图都用上的话，很难将目标与背景进行区分。可以通过特征选择来丢掉noise 特征，那么该如何进行特征选择呢？

这篇论文的主要贡献有：

1）分析CNN从大规模图像分类中学到的特征，找到适用于跟踪的那些特征。这有助于更好的理解CNN特征和设计适用于跟踪的特征。

2）提出新的跟踪方法，使用两层卷积网络，可以更好的处理物体形变和区分目标与背景。

3）提出能自动选择特征的方法，提高跟踪精度。

用于跟踪的深度特征分析

      分析是基于16层的VGG网络的，VGG是在ImageNet上已经训练好的。其中有13个卷积层跟着3个全连接层。

分析1 尽管CNN特征图的感受野很大，激活特征图是稀疏并且局部的，激活区域和目标区域高度相关。

从图上可以看出特征图只有少量非0值，这些非0值是位置确定的且与目标区域有关。还得到了CNN 特征的语义图，语义图表明，输入的改变，导致目标区域的所选特征图大幅增长。因此，这些特征map获得了目标的可视化描述。这就表明，DNN学到的特征是有位置的且与目标相关的，因此，CNN的特征可用于确定目标位置。

分析2 很多CNN特征是noisy，或者与将目标与背景区分无关

用ImageNet训练的CNN特征能描述大量的目标，但当跟踪时，应当只关注小部分的目标，只需将目标与背景区分即可，这就要求我们选择好的特征。

分析3 不同层编码不同的特征，高层获得目标种类的语义概念，低层编码更多的区分特征来获得内部的种类变化。 

      因为特征图有大量冗余，故采用一种稀疏表示框架来更好的可视化。