Improved dual-mode compressive tracking integrating balanced colour and texture features

《改进的集成平衡颜色和纹理特征的双模压缩跟踪》

摘要：将跟踪问题视为分析目标和背景信息的分类问题的判别跟踪方法可以实现最先进的性能。作为一个高性能判别器，压缩跟踪近来受到很多关注。然而，当物体遭受长时间遮挡，以及严重的外观和光照变化时，很容易导致跟踪失败。为解决这一问题，作者考虑平衡特征表示以及双模分类器的构造，开发了基于CT（compressed tracking）的鲁棒的跟踪框架。首先，CT的原始测量矩阵作为主导纹理特征提取器。 为了获得平衡的特征表示，通过考虑纹理和颜色特征来诱导补充测量矩阵。然后，分别通过使用先前样本集和当前样本集开发出两个分类器（双模式），并随后将它们组合成一个集合分类器以跟踪目标，这可以帮助避免当目标遭受严重外观变化和长期遮挡时产生的跟踪失败。此外，本文提出了一种分类器更新模式，以通过用集合分类器预测遮挡来防止未统计正样本的遮挡问题。广泛的实验证明了本跟踪框架在各种情况下的有效性。

1 Introduction

目标追踪被广泛用于智能系统，诸如智能交通系统，驾驶辅助以及人机交互。最近，许多跟踪算法被提出，然而，开发出一个能够在复杂环境下（比如，照明、形变、来自相似物体的干扰，遮挡和旋转）工作的鲁棒跟踪算法仍是一个具有挑战性的工作。

目标跟踪可以通过两个主要框架实现，即生成模型和判别模型。与生成模型相比，判别模型通过将跟踪问题等价为目标与背景的分类问题，可以达到最好的性能。一些判别模型使用boosting技术为跟踪选择大量的判别特征，这些判别模型包括多实例学习、在线adaboost、semi-boosting等等。然而，它们在遇到长时间遮挡和严重的外观变化时，可能会跟踪失败，因为可能只有部分对象信息被合并到模型中。最近，许多判别模型将特征投射到低维空间以构建更稳健的特征表示，例如， 相关滤波器，稀疏编码，低秩分解，压缩感知等。在这些模型中，压缩追踪（CT）使用随机投影和压缩感知来提取追踪中的特征，展示其在实现强大的实时性能方面的优势。

有了随机投影和压缩感知的支持，压缩跟踪构建一个稀疏测量矩阵R，R属于R^n*m，用于投影高维多尺度特征，x属于R^m，转换到低维版本，v属于Rⁿ，n<<m。CT可以准确有效地跟踪物体，但是，当目标存在严重的外观改变或者长时间的遮挡时，会出现跟踪失败的情况。我们认为该压缩跟踪算法的性能可以通过考虑新的特征表示以及构建和更新分类器被进一步提升。

对于CT算法的改进，我们的主要贡献有三。首先，我们提出增强测量矩阵以达到一个在颜色和纹理特征方面平衡的特征表示；第二，我们认为高性能的跟踪器不应该只捕捉短期变化，而应该容忍长时期的遮挡。受迁移学习算法的启发，我们构建了两个分属于两个样本集的分类器。一个被命名为在t帧时刻选择到的当前样本集；另一个被命名为在0到t-1帧时刻选择到的先前样本集。这两个分类器组合成一个集成跟踪器，以适应短期外观变化和长期遮挡；第三，我们通过使用集成跟踪器明确地检测遮挡来诱使模型更新跟踪策略。当目标对象未被遮挡时，跟踪信息被添加到先前的训练样本集作为正样本。若目标对象被严重遮挡，为了避免分类器错误更新，我们并不更新先前的训练样本集。当目标对象从遮挡中恢复时，恢复更新过程。利用这些改进，本文所提出的算法应该在困难情况下表现良好（例如由于照明和长期遮挡引起的剧烈变化）。

本文组织如下：第2部分简单介绍了初始CT算法。第3部分描述我们提出的算法，特别的，3.1阐述了测量矩阵架构；3.2介绍了集成跟踪器的架构；3.3介绍了更新策略。第4部分我们介绍了扩展实验的细节，同时展示了所提算法的性能。最后，在第5部分是对所做工作的总结和展望。

2 Background

在压缩感知和随机投影的支持下，CT算法可以准确而有效地跟踪目标。特别的，我们假设目标位置I_t-1=[x,y]^T处的先前框架t-1被给出或检测。我们的目标是估计框架t处对象的位置I_t。若我们知道t-1处的目标位置，就可以生成与对象相邻的正样本T _p和远离对象的负样本T _n。每个样本表示具有高度h和宽度w的矩形图像块，其可以被转换为特征向量v。这正样本和负样本的特征向量被用于训练一个朴素贝叶斯分类器。当到了框架t时，跟踪框架根据局部密集搜索生成候选样本。每一候选样本也对应于一个向量v和一个由朴素贝叶斯分类器给出的分数。选择具有最高分数的候选样本作为t处的对象。迭代地操作该过程以进行在线跟踪。

2.1 CT的特征表示

在随即投影和压缩感知的支持下，CT将每个样本表示为一个多尺度高维向量x。其中x通过一个参考必要信息随机构建的测量矩阵R投影为低维向量v的形式。投影表示形式如公式（1）：

v=Rx                   （1）

r_ij代表测量矩阵R第i行第j列的元素。R很稀疏。例如，当s=m/4时，R的每一行中不超过四个非零元素。图1所示为R中元素分布。该方法的主要优点是在减小维数的同时保留了特征x的判别能力，这使得跟踪算法高效准确。由于R的构造过程是数据独立的并且在第一帧处是固定的，因此尺寸减小过程比传统的尺寸减小方法（例如， 主成分分析）快得多。

尽管CT算法具有上述优点，当光照骤变或者存在长时间遮挡时，依然会导致跟踪失败。我们在3.1节中介绍的压缩特征v可以理解为颜色特征和纹理特征的组合。但是，当纹理特征在跟踪中起主导作用时，CT仍然很容易跟踪失败。2.2 分类器更新

针对每一生成样本，我们假定压缩特征v=(v₁,...,v_n)^T（v属于Rⁿ）的所有元素都服从独立同分布。然后，我们构建朴素贝叶斯分类器如下：

3 平衡双模目标跟踪

下面三个小节分别介绍了我们提出的算法。3.1节介绍改进的测量矩阵Rc，Rc可以获取跟踪中的颜色和纹理特征；3.2节我们使用当前和先前的样本集构建一个集合分类器，以解决潜在的长期遮挡问题；最后，在3.3节中介绍我们用于检测遮挡的整体框架。

3.1 互补的平衡特征测量矩阵

文献[16]指出，每行R的概率为29％，即 r _i，仅包含所有正元素或所有负元素，以此得到对应的压缩特征元素v _i的灰度平均值。r _i包含正负元素的概率为71％。因此，相应的v _i可以被认为是纹理特征，因为它反映了图像颜色信息的差异。然而，在照明条件发生急剧变化时，纹理特征是不稳定的。为解决这一问题，我们对原始稀疏测量矩阵加以改进，形成一个互补的测量矩阵Rc，以使两种特征保持平衡。

Rc定义如下：

3.2 用于跟踪的合成分类器

文章[13]指出，分类器更新可以被描述为学习当前样本中包含的知识的过程以修改分类器，这可以自然地被视为迁移学习问题。

具体而言，从先前样本（来自先前帧的各种目标样本）获得的知识用于利用当前样本来使分类器保持最新，从而得到更稳定的跟踪器。为了实现这个想法，我们通过训练两个具有先前和当前训练样本的分类器来开发合成分类器，这类似于[17]中使用的方法，但是我们提供了改进的更新策略。具体来说，在第t帧，给出或检测出对象位置。然后在第二部分，选择帧t处的正样本Tpc和负样本Tnc，并将其命名为当前训练样本集Tc。将从0到t-1和Tnc的先前帧中选择的正样本Tpp组合为先前训练样本集Tp。 构建两个训练样本的过程如图3所示.Tpp的选择将在3.3节中介绍。

这两个训练样本集Tc和Tp被用于训练两个分类器，将这两个分类器分别命名为Hc和Hp。然后，我们定义最终的强分类器H，H为两个分类器Hc和Hc的权重之和，公式如下：

|…|表示样本集中样本的数量。有了集成分类器H，我们就可以在Hc的帮助下处理短期剧烈形变问题，以及在Hp的帮助下处理长期遮挡问题。

3.3 部分遮挡的跟踪框架

跟踪算法和许多其他跟踪系统不能十分明确的考虑模型更新过程中遮挡问题。若目标被严重遮挡，模型更新时会引入错误的目标信息（包括一些背景信息），这将会导致漂移。为解决这一问题，我们采用迁移学习的思想，在先前跟踪的帧上使用特征来协助当前的模型更新。CT和本文算法的实验结果如图4所示。

文章[17]提出了相似的想法，但是，即使目标明显被遮挡，该方法仍然包括先前训练样本集中的跟踪目标。该方法将错误对象信息引入正训练样本集，导致错误累积。

我们提出使用合成分类器H来确切地检测遮挡，以避免引入错误对象信息。具体来说，在第t帧，针对检测过程，N个候选样本C = [1]，i = 1，...，N在帧t-1的对象位置处被密集采样。每一候选样本l_t,i被表示为3.1小节中介绍的平衡特征v_t,i。然后，如3.2节所述，将每个候选样本的对象似然度O（l _t，i）定义为H（v _t，i）。选择具有最大似然性的样本作为帧t处的目标样本并表示为l _t。 如果O（l _t）<0，我们认为发生了严重的遮挡。然后，我们跳过更新过程以避免将错误对象信息带入正训练样本。如果O（l _t）>0,对于分类器更新过程，首先选择当前训练样本集T c并用于更新分类器H c，这在第2节中已经介绍。我们所提的算法框架如图5所示。

 

，