ms

　　meanShift的概念最早是由Fukunage[1]在1975年提出的，其最初的含义正如其名：偏移的均值向量；但随着理论的发展，meanShift的含义已经发生了很多变化。如今，我们说的meanShift算法，一般是指一个迭代的步骤，即先算出当前点的偏移均值，然后以此为新的起始点，继续移动，直到满足一定的结束条件。

　　在很长一段时间内，meanShift算法都没有得到足够的重视，直到1995年另一篇重要论文的发表。Yizong Cheng在论文中[2]定义了一族核函数，使得随着样本与被偏移点的距离不同，其偏移量对均值偏移向量的贡献也不同。其次，他还设定了一个权重系数，使得不同样本点的重要性不一样，这大大扩展了meanShift的应用范围。

　　2000年，Dorin Comaniciu[3]将非刚体的跟踪问题近似为一个meanShift的最优化问题，利用图像的颜色特征(直方图)使得跟踪可以实时进行（seminal paper）。2003年，对应的期刊论文[4]中，可以通过改进权重的带宽h适应尺度变化。

　　在Dorin Comaniciu挖下这个大坑后，随后国内外无数研究者争相往其中灌水。以下挖掘了几篇论文作为后续研究的代表。

（1）将空间颜色直方图作为目标表观，然后在MS tracking框架下得到改进的算法。

　　S.T Birchfield, Sriram Rangarajan. Spatiograms versus histograms for region-based tracking. CVPR, 2005 spatiogram, nb表示颜色（直方图）索引为b的像素数量，ub和∑b分别表示对应像素点空间分布的均值和协方差矩阵。

（2）尺度自适应。在Mean Shift跟踪中解决尺度问题一般从推导过程进入，所以这类文章的数学推导略难：

　　Robert T. Collins. Mean-shift blob tracking through scale space. CVPR, 2003.

指出了seminal paper的尺度上的问题。

　　Zoran Zivkovic, Ben Krose. An Em-like algorithm for color-histogram-based object tracking. CVPR, 2004.

[补充] Tomas Vojir, Jana Noskova, and Jiri Matas.Robust Scale-adaptive Mean-Shift for Tracking. SCIA 2013. (best paper) (论文几乎破纪录地在40+段视频上与TLD在内的几个Tracking-by-detection方法进行了对比，报道效果还是比较让人意外的)

(When an object becomes larger, the localization becomes poor since not all pixels belonging to the object are included in the search window and the similarity function has local maxima on parts of the object. If the object become smaller,the kernel window includes background clutter which often leads to tracking failure.)

（3）目标表观的多特征选择（这也是篇高引用的论文，很多人将它视为Online learning for tracking的开端）：

　　 Robert T. Collins, Yanxi Liu, Marius Leordeanu.Online Selection of Discriminative Tracking Features. TPAMI, 2005.

将一种在线多特征选择机制嵌入在均值漂移跟踪方法中，利用目标颜色特征，通过在线选择的方式，在这些特征中选择那些对目标及背景可分性高的特征用于均值漂移跟踪，以适应跟踪过程中目标及背景的变化，但文中使用的多个特征是通过目标颜色分量的不同组合构造的，本质上还只是利用了目标的颜色信息。

（4）目标分块，以适应遮挡的情况：

　　 J. Jeyakar, R.V. Babu, K.R. Ramakrishnan. Robust object tracking with background-weighted local kernels. CVIU, 2008.

目标直方图的更新，与经典的线性加权不同，下文使用了Kalman filter对每个bin进行滤波更新：

　　Peng NingSong, Yang Jie, Liu Zhi. Mean Shift blob tracking with kernel histogram filtering and hypothesis testing. Pattern Recognition Letters, 2005.

（5）目标多特征，这里推荐两篇中文文献。一类只考虑候选模板（直方图）与参考的相似度，另一类考虑与背景的鉴别性来调整特征权重（以下两篇都属于后者）：

　　王永忠,梁彦,赵春晖等.基于多特征自适应融合的核跟踪方法.自动化学报,  2008.

　　 袁广林, 薛模根,韩裕生等.基于自适应多特征融合的Mean Shift目标跟踪.计算机研究与发展, 2010.

（6）快速移动目标：

　　Chunhua Shen, Brooks M.J, van den Hengel A. Fast Global Kernel Density Mode Seeking: Applications to Localization and Tracking. TIP, 2007.

　　 Li ShuXiao, Chang HongXing, Zhu ChengFei. Adaptive pyramid mean shift for global real-time visual tracking. Image and Vision Computing, 2010.

（7）最后，我押宝它是Mean Shift跟踪在Top期刊上的绝唱，它采用“积分直方图”（并不是那种积分直方图，你懂得）的方式克服光照等影响带来的模型漂移：

　　Ido. Leichter. Mean Shift Trackers with Cross-Bin Metrics. TPAMI, 2012.

[1] Fukunaga K, Hostetler L. The estimation of the gradient of a density function, with applications in pattern recognition[J]. Information Theory, IEEE Transactions on, 1975, 21(1): 32-40.

[2] Cheng Y. Mean shift, mode seeking, and clustering[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 1995, 17(8): 790-799.

[3]Comaniciu D, Ramesh V, Meer P. Real-time tracking of non-rigid objects using mean shift[C]//Computer Vision and Pattern Recognition, 2000. Proceedings. IEEE Conference on. IEEE, 2000, 2: 142-149.

[4] Dorin Comaniciu, Visvanathan Ramesh, Peter Meer.Kernel-based object tracking. TPAMI, 2003.