最优化之Robust PCA

最近加了一个QQ群，接触了点新的东西，包括稀疏近似，低秩近似和压缩感知等。Robust PCA中既包含了低秩，又包含了稀疏，于是以其为切入点，做了如下笔记。笔记中有的公式有比较详细的推导，希望对读者有用；有的公式则直接列写出了，待以后有新的理解再更新。由于初学，加之水平有限，文中会有疏漏错误之处，希望大家批评指正赐教。

本文推导了矩阵绝对值和范数及核范数的次梯度；求解了带正则项（和惩罚项）的绝对值，矩阵绝对值和范数及矩阵核范数的最优化问题；介绍了Robust PCA的几种算法，包括了迭代阈值算法，加速近端梯度算法（Accelerated Proximal Gradient；APG），增广Lagrange乘子法（Augmented Lagrange Multiplier；ALM）和交替方向法（alternating direction methods；ADM），注意这部分笔记内容并不成熟。

更新记录

本文持续更新！如文中有错误，或你对本文有疑问或建议，欢迎留言或发邮件至quarrying#qq.com！

2015年12月29日，更新博文，添加L0范数最优化问题求解，修正一些错误。

参考

http://math.stackexchange.com/questions/701062/derivative-of-nuclear-norm

http://math.stackexchange.com/questions/1142540/proof-that-nuclear-norm-is-convex

[2010 SIAM] A Singular Value Thresholding Algorithm for Matrix Completion

[2009 SIAM] A Fast Iterative Shrinkage-Thresholding Algorithm for Linear Inverse Problems

[2008 Candes] Exact Matrix Completion Via Convex Optimization

[2009 ACM] Robust Principal Component Analysis

[2009] Sparse and low-rank matrix decomposition via alternating direction methods

[2009] The augmented Lagrange multiplier method for exact recovery of a corrupted low-rank matrices.

[2009] Fast algorithms for recovering a corrupted low-rank matrix

[2009] An Accelerated Proximal Gradient Algorithm for Nuclear Norm Regularized Least Squares problems

正文