D2-Net: Weakly-Supervised Action Localization via Discriminative Embeddings and Denoised Activations概述

1.针对的问题

　　目前大多数弱监督动作定位方法通常依赖于分离前景和背景区域(前-背景分离)学习TCAMs，但是在弱监督设置下，学习到的TCAM会存在噪声，而这些方法并没有明确地处理其噪声输出。

2.主要贡献

　　•引入了一个判别损失项，它同时进行视频分类和增强的前背景分离。

　　•引入去噪损失项来提高TCAMs的鲁棒性。去噪损失通过最大化视频内(intra-video)和视频间(inter-video)激活和标签之间的MI，明确解决了TCAM中的噪声问题。第一个引入了一个损失项，同时捕获一个视频中的多个片段和一个batch中所有视频的MI，以进行弱监督动作定位。

　　•在多个基准上进行实验，包括THUMOS14[7]和ActivityNet1.2[3]。D2-Net在所有数据集上优于现有的弱监督方法，在THUMOS14上IoU=0.5获得高达2.3% mAP的增益。

3.方法

　　模型结构比较简单，主要创新点在于提出的损失函数。

　　提出了两个损失项:判别损失和去噪损失。判别损失通过使用从输出T-CAMs计算的自顶向下的注意力，寻求最大程度地分离前景和背景片段并解决类别平衡问题。去噪损失通过处理激活中的前背景噪声来改善T-CAMs。这种损失使用来自潜在嵌入的前景得分的自底向上的注意力。

判别损失L_Dis：

　　首先通过自顶向下注意力计算前景嵌入和背景嵌入，公式如下

　　λ^b(t)=1−λ(t)是背景注意力。此外，引入了三个权重项w_fb，w_fg和w_bg，分别针对分离前景和背景，聚合前景及聚合背景。

　　x和表示来自mini-batch中不同视频的嵌入，判别损失的另一个作用是解决类别平衡问题，即简单的背景片段的数量远远超过了困难的前景。受focal loss的启发，作者在判别损失中加入基于上面计算出来的权重的惩罚项。则判别损失定义如下：

　　视频级预测p∈R^C通过对T进行时序top-k池化获得，第一项表示只有当(i)其预测概率p[c]较高，以及(ii)对应视频的前景分组w_fg和前景-背景分离w_fb同时较低时，阳性动作类c造成的损失才较低。类似的观察也适用于第二项对负类的观察。因此，L_Dis通过鼓励前景-背景分离，同时实现分类，提高了嵌入x(t)的可辨别性。

去噪损失L_D：

　　基于DMI(基于行列式的互信息)提出，用于提升对于噪声数据的鲁棒性，DMI是为多类分类提出的，计算为联合分布矩阵的行列式，即DMI(P, Y)=|det(U)|，U = 1/nPY是预测后验概率P和ground-truth (有噪声)标签Y的联合分布，DMI损失L_dmi被定义为

　　但是这种定义存在问题，L_dmi依赖于U的行列式，为了确保det(U)非零，标签矩阵Y必须是满秩的，即mini-batch必须包含所有类的实例。对于大量的类来说，这是不可行的。这种用于动作定位的mini-batch采样也会导致gpu中的内存问题。

　　根据公式，若要使L_dmi趋于0，则|det(U)|应趋于1，即U趋于单位矩阵，作者通过实验发现，若用η_U表示U的条件数，当|det(U)|越大，η_U越小，且当|det(U)|趋于1时，η_U也趋于1，因此作者对式5进行了修改，得到L_pdmi

　　η_U计算为σ₁/σ_r，其中{σ₁，…,σ_r}为U的非零奇异值。

　　L_pdmi既用于一个视频的片段之间，也用于一个batch的所有视频之间，由于弱监督中得到的P和Y是视频级的，所以作者构造了片段的预测矩阵P₁和伪标签矩阵Y₁。先通过一种自底向上的注意力机制计算前景分数λ'(t)

　　x^[m]_ref=0.9x^[m−1]_ref+0.1x^µ,[m]_bg逐步计算为xbg在m次迭代中的运行平均值。这里，x^µ,[m]bg表示迭代m时一个MIni-batch中背景嵌入的平均值。令t_f={t:λ'(t)>0.5}和t_b={t:λ'(t)<0.5}。使用伪前景时序定位t_f，一个宽度为n_f=|t_f|的行矩阵λ_f通过自顶向下注意力λ(t)， t∈t_f构造 。同样， 宽度为n_b=|t_b|的λ_b为伪背景片段构造。

　　则预测矩阵P₁和伪标签矩阵Y₁计算为

　　模型总体架构如下：

　　给定一个视频v，把它分成L = 16帧的互不重叠的片段。使用I3D获得每个16帧片段的d = 2048维特征F∈R^s×d，s为片段数，将特征输入D2-Net。

　　D2-Net由两个并行的RGB流和光流组成。每个流由三个时序卷积(TC)层组成。前两层从输入特征F学习潜在判别嵌入x(t)∈R^d/2(时间t∈[1,s])，最终TC层的输出通过sigmoid激活。随后，对两个流的输出进行平均，得到TCAMs T∈R^s×C 表示C个动作类随时间变化的class-specific得分序列。训练目标结合了判别(L_Dis)和去噪项(L_D)，并使用了一个平衡权重α。