Person Re-ID行人重试别梳理

定义

是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。给定一张切好块的行人图像 (probe image,), 从一大堆切好块的图像 (gallery images) 中找到同一身份的人的图像。这些图像通常是由不同摄像头拍摄的不连续帧。

主要技术方案

1. 基于表征学习的ReID方法

CNN自动从原始的图像数据中根据任务需求自动提取出表征特征(Representation),然后把行人重识别问题看做分类(Classification/Identification)问题或者验证(Verification)问题.

但是也有论文认为光靠行人的ID信息不足以学习出一个泛化能力足够强的模型。通过结合ID损失和属性损失能够提高网络的泛化能力。

2. 基于度量学习的ReID方法

2.1 对比损失(Contrastive loss)

对比损失用于训练孪生网络,可以使得正样本对之间的距离逐渐变下，负样本对之间的距离逐渐变大，从而满足行人重识别任务的需要。

2.2 三元组损失(Triplet loss)

三张图片分别命名为固定图片(Anchor) a ，正样本图片(Positive)p和负样本图片(Negative) n 。考虑正负样本对之间的相对距离.

2.3 四元组损失(Quadruplet loss)

四张图片为固定图片(Anchor) a ，正样本图片(Positive) p ,负样本图片1(Negative1) n1 和负样本图片2(Negative2) n2 。其中 n1 和 n2 是两张不同行人ID的图片，其结构如上图所示。则四元组损失表示为：

2.4 边界挖掘损失(Margin sample mining loss, MSML)

3. 基于局部特征的ReID方法

3.1 PCB-RPP

> 1. 提出了均匀分块的 Part-based Convolutional Baseline(PCB)，探讨了较优的块间组合方式
> 2. 提出了基于 parts 的 Refined part pooling(RPP)，用注意力机制来对齐 parts

3.2 基于骨架仿射变换对齐

3.3 Spindle Net

对于输入的一张行人图片，有一个预训练好的骨架关键点提取CNN（蓝色表示）来获得14个人体关键点，从而得到7个ROI区域，其中包括三个大区域（头、上身、下身）和四个四肢小区域。

3.4 AlignedReID链接

实现了自动对齐,首次超越人工识别.

• 特点1:动态规划
  为了解决两幅图像之间的 Part对齐问题,分别提取局部特征和全局特征，通过N*N的距离矩阵描述最短路径即是两幅图像最佳的Local 匹配。
• 特点2: 协同学习
  
• 特点3: reRanking

3.5 EANet链接

• 特点1:部件对齐池化（PAP: Part Aligned Pooling）
  其实就是根据骨架关键点先验知识,在feature map上进行纵向划分;
  

• 特点2:部件分割约束（PS Constraint）
  发现meature map特征冗余性很强,所以添加一个正则约束,也就是和预训练的不见分割器所产生的部件伪标签对比,增加Conv5后meature map特征的空间区分性,减少相关度.
  

  4. 基于视频序列的ReID方法

  累计运动背景网络(AMOC)

  1) 首先训练了一个运动信息网络(Moti Nets)。这个运动网络输入为原始的图像序列，标签为传统方法提取的光流序列,输出光流序列;
  2) AMOC拥有空间信息网络和运动信息网络两个子网络。图像序列的每一帧输入到Spat Nets来提取图像的全局内容特征,相邻的两帧将会送到Moti Nets来提取光流图特征。
  

5. 基于GAN造图的ReID方法

ReID的其中一个难点就是姿态的不同，通过每一张图片都生成标准的n个pose来实现不见对齐.