Paper reading: High-Fidelity Pose and Expression Normalization for Face Recognition in the Wild（HPEN）

1. Introduction

人脸识别受到各种因素影响，其中最重要的两个影响是 pose 和 expression， 这两个因素会对 intra-person 变化产生极大的影响， 有时候甚至会超过 inter-person 变化的影响。面对这两个挑战，许多工作可以大体被划分为两种： feature level normalization 和 image level normalization.

Feature级的normalization重点在于设计对pose和expression变化更鲁棒的人脸表示。(High-dim LBP, CNN等.)

Image级的normalization重点在于从随意状态下的人脸合成一些规范的和无表情的图像。这种方法的优点在于可以很容易的和原本的人脸识别算法融合在一起，只是将这里作为图像预处理的方法。(Stack Flow, Markov Random Filed, Morphable Displacement等.)

本文是一种 pose 和 expression naomalization的方法，重建canonical-view, expression-free的高逼真图像，贡献主要有：

1. 作了一个"landmark marching"的假设，来描述3D landmarks通过pose的移动，并提出基于pose自适应的3DMM适配方法的landmark。
2. 提出一种通过将整个图像网格化为一个3D目标并进行3D变换将其归一化的 identity preserving normalization方法。
3. 提出一种“Trend Fitting and Detail Filling”的方法，用“泊松编辑”来填充不可见区域，使结果更加平滑和自然分布。

2. Pose Adaptive 3DMM Fitting

2.1 3D Morphable Model

3D Morphable Model(3DMM)，通过面部扫描的线性组合来构建，3DMM可以在相当大的程度上拟合任意的面部形状。近来，Chu 等人扩展了3DMM，将表情作为偏移量包含在中性脸内。
\[S = \overline{S} + A_{id}\alpha_{id} + A_{exp}\alpha_{exp} \]
S表示3D脸，\(\overline{S}\)表示平均shape，\(A_{id}\)表示