CIAGAN: Conditional Identity Anonymization Generative Adversarial Networks阅读笔记

CIAGAN: Conditional Identity Anonymization Generative Adversarial Networks

2020 CVPR　　2005.09544.pdf (arxiv.org)

（个人理解，欢迎指正错误）

 

Introduction

　　隐私：整个人脸

　　可用性：是看起来自然的人

　　文章去除真实人脸的同时生成了高质量的假人脸，可用于支持跟踪、检测等计算机视觉任务。与先前工作相比，本文的创新处在于可以在一定程度上控制人脸匿名效果，依据给定的身份参照指导假人脸的合成，到达合成图像接近参照图像的效果。

　　文章指出，他们的的关键观察是，许多计算机视觉任务，如人的检测、多人跟踪、动作识别等，不需要识别视频中的人，只需要检测它们，因此文章对人脸隐私保护可用性的解释仍然局限于是个自然的人脸。

Methodology

　

　　·Shape 是人脸姿态的指导信息，文章用了外轮廓、鼻梁和嘴巴指导生成器，而眼睛等其他人脸信息的生成则是自由灵活的。

　　·Background 告诉模型关注人脸区域而非背景区域，多mask一些前额头皮肤可以帮助模型学习与额头肤色相匹配的肤色，过度更加自然。

　　·Identity guidance 文章指出如果模型的可变性仅由输入的landmark(shape、background)提供，则模型会快速过拟合于训练集并倾向于重建图像，导致合成图像与训练集图像相似。为解决这个问题，文章为生成器加入的identity信息，生成器的输入包含了图像A的landmrak以及图像B的identity，合成图像将是图像A姿态特征和图像B身份特征的组合。

　　·Identity Discr.  为连体神经网络，同时输入合成图像与身份参考图像B，使用同一网络结构、同一网络参数映射到嵌入向量空间并计算距离损失。身份判别器使用Proxy-NCA loss用训练集进行预训练，在GAN的训练过程中用contrastive loss微调身份判别器。预训练后的身份判别器将人脸中身份信息映射至嵌入向量空间，嵌入向量空间中将同类身份距离拉近、不同身份距离拉远。在GAN的对抗训练过程中真假图像输入带着不相同的身份标签输入至身份判别器，生成器力图混淆身份判别器，随着训练进行生成器合成的假图像成为针对身份判别器的困难样本，判别器用contrastive loss微调优化自身。

　　注：深度度量学习中的损失函数 | 小毛驴 (yangxudong.github.io)。深度度量学习（deep metric learning）是度量学习的一种方法，它的目标是学习一个从原始特征到低维稠密的向量空间（称之为嵌入空间，embedding space）的映射，使得同类对象在嵌入空间上使用常用的距离函数（欧氏距离、cosine距离等）计算的距离比较近，而不同类的对象之间的距离则比较远。

　　·MLP 为反卷积网络，输入是一个one-hot向量，输出为高维向量，规格与生成器bottleneck层相同并进行拼接。（不是很理解为什么将one-hot表示输入MLP，MLP要训练吗？）

Result

　　文章特地写了一段“Are we just doing face swapping?”。定性角度：给出一组合成图片表明与单纯换脸的区别；定量角度：使用人脸识别网络无法识别出合成图像的参考身份。

Personal Opinions

　　文章做的人脸匿名个人认为是一种图像风格融合，能够控制模型的目标融合身份提升了对人脸匿名模型的控制力，但在融合结果的解释力上是不足的。正如文章中与“换脸”的辨析，合成人脸既不像原始图像A，也不像身份参考图像B。文中提到合成图像使用了身份参考图像B的高层次特征（race、sex），视觉效果上有合理性但缺乏定量的分析。总之文章的匿名方法说不清楚是如何融合图像A、B的，这造成了应用场景上的局限，可用性仍然停留在合成图像具有自然的人脸这一点上，但是CIAGAN避免了合成图像过拟合于训练集。