论文阅读笔记（十）【CVPR2016】：Recurrent Convolutional Network for Video-based Person Re-Identification

Introduction

该文章首次采用深度学习方法来解决基于视频的行人重识别，创新点：提出了一个新的循环神经网络架构（recurrent DNN architecture），通过使用Siamese网络（孪生神经网络），并结合了递归与外貌数据的时间池，来学习每个行人视频序列的特征表示。

Method

（1）特征提取架构：

第一层：卷积神经网络，提取每个行人的外貌特征向量；

第二层：循环神经网络，让网络更好的提取时空信息；

第三层：时间池，让网络将不同长度的视频序列总结为一个特征向量.

Siamese网络：通过训练，将来自同一个人的视频特征变得更近，将来自不同人的视频特征变的更远.

（2）输入：

包括两部分：光流（optical flow）、颜色通道（colour channel）

光流对行人的步态等动作线索进行编码，而颜色通道对行人的样貌和穿着进行编码.

（3）卷积神经网络：

对每一个步行时刻（time-step，可以理解为组成步态周期的一个单元）进行卷积神经网络处理，把输入的图片记为 x，则输出为向量 f = C(x).

卷积神经网络架构：

激活函数采用tanh，池化层采用最大maxpool，即：

s = s⁽¹⁾, ..., s^(T) 表示为一个视频序列，T 为视频序列的长度，s(t) 为在时间 t 时的图片帧.

每个图片都要经过CNN来产生一个特征向量，即 f^(t) = C(s^(t))，其中 f(t) 是CNN最后层的向量表示.

（4）递归神经网络：基础介绍【传送门】

f^(t) 表示 s^(t) 在CNN最后层的向量表示，则RNN输出为：

o^(t) 规格：e * 1

f(t) 规格：N * 1

r^(t-1) 规格：e * 1

W_i 规格：e * N

W_s 规格：e * e

f^(t) 包含当前时刻的图像信息，r^(t-1) 包含上一时刻的图像信息，对所有时刻的特征使用全连接层. r^(t) 初始为零向量.

（5）时间池：

虽然RNNs可以捕获时间信息，但依然存在不足：

① RNN的输出偏向于较后的时刻；

② 时间序列分析通常需要在不同的时间尺度下提取信息（如语音识别中，提取的尺度包括：音节、单词、短语、句子、对话等）.

解决方法：增加一个时间池化层（temporal pooling layer），该层从所有时刻收集信息，避免了偏向后面时刻的问题.

在时间池化层中，所有时刻RNN后的输出为{o⁽¹⁾, ..., o^(T)}，提出两个方法：

① 平均池化层：

② 最大池化层：（即向量的每一个元素都是从 T 个时刻中的对应位置挑选出的最大值）

（6）训练策略：

① 孪生神经网络：基础知识【传送门】

给出一对视频序列 (s_i, s_j)，每个序列都通过CNN、RNN提取出特征向量，即 v_i = R(s_i)，v_j = R(s_j)，孪生神经网络的训练目标为：（采用的距离为欧式距离）

② 识别验证：

预测特征向量 v 是第 q 个身份的概率为：

一共有 K 个可能身份，W_c 和 W_k 表示权重矩阵 W 的第 c 和 k 列.

③ 损失函数：

Experiments

（1）实验设置：

① 数据集 ：iLIDS-VID、PRID-2011，一半用于训练，一半用于测试，运行10次计入平均值.

② 参数设置：孪生神经网络中 m = 2，特征空间维度 e = 128，梯度下降学习率 α = 1e-3，batchsize = 1，epochs = 300.

③ 硬件条件：GTX-980 GPU（运行1天）

④ 数据预处理：采用了裁剪和镜像的形式对数据进行增强. 将图像转为YUV色域，每个颜色通道被标准化为零均值和单位方差，使用Lucas-Kanade算法【传送门】计算每对帧之间的水平和垂直光流通道. 光流通道正规化为[-1,1]. 第一层神经网络的输入有5层通道，其中3层为颜色通道，2层为光流通道.

（2）实验结果：

① 比较了有无循环连接、有无光流特征情况下的实验结果.

② 比较时间池中使用平均池化、最大池化和基准方法（其它参考文献中的方法）的效果.

③ 比较不同视频序列长度的效果.

④ 与其它方法的对比.

⑤ 跨数据集测试，在数据集A训练，但在数据集B测试.