1. Abstract

现实世界中的人脸很多时候都存在遮挡以及大的形状变化,而目前的人脸关键点检测方法在这种情况下表现欠佳,
因为它们未能提供一种系统的方法来处理异常。因而authors提出一种新的方法--稳健级联姿态回归(RCPR),这
是基于姿态级联回归(CPR)方法的改进。此方法在数据集LFW、LFPW、HELEN以及COFW(作者引入的数据集)
上表现比state-of-the-art 方法要好。大约能够降低一半的错误率;在检测人脸遮挡部分的precision/recall 为80/40%。

2. Introduction

CPR方法在人脸关键点检测中表现高效,但在遮挡以及较大形状变化的情况下有所欠缺。RCPR方法在现实世界中
表现稳健,在估计关键点位置的同时能够检测出人脸的遮挡区域。因为遮挡信息在学习选择未遮挡区特征期间能够
起到作用,并且可以被动态地利用(通过稳健统计量)从而在级联中减小误差,

主要contributions

(1) 提出RCPR方法,对差的初始值、大的形状变化和遮挡稳健。第一个方法既能检测遮挡又能同时估计关键位置

(2) 引入新的数据集COFW,数据集中的人脸包含遮挡以及大的形状变化,比较接近现实情况。

3. Related work

shape 估计模型:

(1)ASM、AAM :泛化能力差、训练慢,现实条件下表现差
(2)modern 方法:先检测出目标,再估计位置 ;准确率较低
(3)回归方法(RCP):直接预测目标的shape;boosted regression + random fern regressors

4. Method

4.1 CPR

在CPR的基础上进行改进,从而使得RCPR对遮挡以及大的形状变化稳健。
用CPR估计shape:$ S_p = [x_p,y_p],p = 1,2,...,P;$ 表示P个关键点的位置坐标
CPR由T个回归器 \(R^{1...T}\) 级联组成。先初始化 \(S^0\) ,然后逐步估计,最后输出 \(S^T\) 。


输入:Image I, initial guess \(S^0\) , regressors $ R^{1...T}$ ,shape-indexed features $ h^{1...T}$
for t = 1 to T do
//compute shape-indexed features(提取特征)
$x^t = h^t(S^{t-1},I) $
// evaluate regressor(用回归器估计update $ \delta $S)
$ \delta $S = $ S^{t-1} $ + $ \delta $S
end
输出:final estimation $ S^T$


回归器$ R^t$ 的训练使得真实的shape与当前估计值\(S^{t-1}\)之间的差异最小
CPR具体的想法可以参考https://pdollar.github.io/files/papers/DollarCVPR10pose.pdf

RCPR

对遮挡稳健

ground-truth 标记

把数据集中人脸的关键点标记成0-1,分别表示遮挡与未遮挡(训练过程中当作连续变量,最后利用PR曲线选取阈值二值化)

occlusion-centered approach

这个方法对$\delta $S 的估计稳健
把人脸分成3x3 一共9个区域,每个小区域具有特定的遮挡比例。然后训练 \(S_{tot}\)个回归器,保证它们"visually different",
最后根据遮挡比例对回归器进行加权估计Shape的更新量

对形状变化稳健

Interpolated shape-indexed features

在进行shape 估计时对遮挡形状变化比较稳健,并且速度快.

smart restarts

CPR是依赖初值的选取。 给定原始图像和不同的初始值,先用10%的级联回归器回归,然后比较差异性,若小于阈值,
再继续用剩下的90%回归器估计。否则重新初始化。实验 证明如此效果高效,通过交叉验证设置阈值为0.15

5. Experiments & results

在三个数据集(LFW、LFPW、HELEN)上比较实验结果。RCPR只用feature + restart
在引入数据集(COFW)上测试效果。

结果图如下:

6. Conclusion

RCPR能够检测遮挡的同时估计关键点的位置。并且在有遮挡、形状有较大变化的情况下稳健。

7. References

[1] Xavier P. Burgos-Artizzu,Pietro Perona,and Piotr Dollar .Robust face landmark estimation under occlusion.In ICCV,2013
https://ieeexplore.ieee.org/document/6751298/

论文笔记 Robust face landmark estimation under occlusion的更多相关文章

  1. [论文笔记] Fine-Grained Head Pose Estimation Without Keypoints

    Fine-Grained Head Pose Estimation Without Keypoints 简介 head pose estimation 经典论文,使用CNN预测三个角度值,pitch, ...

  2. [论文笔记] Improving Head Pose Estimation with a Combined Loss and Bounding Box Margin Adjustment

    Improving Head Pose Estimation with a Combined Loss and Bounding Box Margin Adjustment 简介 本文提出了一种网络结 ...

  3. 【论文阅读】Wing Loss for Robust Facial Landmark Localisation with Convolutional Neural Networks

    Wing Loss for Robust Facial Landmark Localisation with Convolutional Neural Networks 参考 1. 人脸关键点: 2. ...

  4. 论文笔记系列-Neural Network Search :A Survey

    论文笔记系列-Neural Network Search :A Survey 论文 笔记 NAS automl survey review reinforcement learning Bayesia ...

  5. Video Frame Synthesis using Deep Voxel Flow 论文笔记

    Video Frame Synthesis using Deep Voxel Flow 论文笔记 arXiv 摘要:本文解决了模拟新的视频帧的问题,要么是现有视频帧之间的插值,要么是紧跟着他们的探索. ...

  6. Deep Reinforcement Learning for Visual Object Tracking in Videos 论文笔记

    Deep Reinforcement Learning for Visual Object Tracking in Videos 论文笔记 arXiv 摘要:本文提出了一种 DRL 算法进行单目标跟踪 ...

  7. 【论文笔记系列】AutoML:A Survey of State-of-the-art (下)

    [论文笔记系列]AutoML:A Survey of State-of-the-art (上) 上一篇文章介绍了Data preparation,Feature Engineering,Model S ...

  8. Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现(转)

    Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现 zouxy09@qq.com http://blog.csdn.net/zouxy09          自己平时看了一些论文, ...

  9. 论文笔记之:Visual Tracking with Fully Convolutional Networks

    论文笔记之:Visual Tracking with Fully Convolutional Networks ICCV 2015  CUHK 本文利用 FCN 来做跟踪问题,但开篇就提到并非将其看做 ...

随机推荐

  1. css3动画运用

    https://daneden.github.io/animate.css/ https://minimamente.com/example/magic_animations/    http://i ...

  2. phoenix使用vue

    phoenix使用vue mix phoenix.new ass2 Fetch and install dependencies? [Yn] y 修改 package.json { "rep ...

  3. Storm并行度

    1.Storm并行度相关的概念 Storm集群有很多节点,按照类型分为nimbus(主节点).supervisor(从节点),在conf/storm.yaml中配置了一个supervisor有多个槽( ...

  4. Linux 加阿里yum源

    阿里 yum 源设置 阿里云Linux安装镜像源地址:http://mirrors.aliyun.com/CentOS系统更换软件安装源 第一步:备份你的原镜像文件,以免出错后可以恢复.mv /etc ...

  5. requirejs中Shims使用说明

    RequireJS中如果使用AMD规范,在使用的过程中没有太多的问题,如果加载非AMD规范的JS文件,就需要使用Require中的shim. require.config({ paths:{ jque ...

  6. CCSUOJ评测系统——第一次scrum冲刺

    1.第一次冲刺任务安排 对Github上的HUSTOJ开源项目进行Fork,搭建基本环境 2.用户需求 ①基本功能显示在首页 ②能够提交题目并判题,并对自己所提交的题目正确性进行反馈,能够查看自己提交 ...

  7. Oracle EBS 加锁解锁程序

    FUNCTION request_lock(p_lock_name IN VARCHAR2) RETURN BOOLEAN IS l_lock_name ); l_lock_ret INTEGER; ...

  8. Vue2学习笔记:组件(Component)

    组件 组件(Component)是 Vue.js 最强大的功能之一.组件可以扩展 HTML 元素,封装可重用的代码.在较高层面上,组件是自定义元素, Vue.js 的编译器为它添加特殊功能.在有些情况 ...

  9. [OPENSSL下载][证书] OPENSSL将PFX证书转换为PEM格式

    OpenSSL Convert PFX Convert PFX to PEM openssl pkcs12 -in certificate.pfx -out certificate.cer -node ...

  10. RHEL7系统管理之资源管理

    1. CGroup(控制群组).slice(切片).scop.service 控制群组(control group)是linux kernel的一项功能, 该功能允许linux对RHEL7中syste ...