PCA算法的最小平方误差解释

PCA算法另外一种理解角度是：最小化点到投影后点的距离平方和.

假设我们有m个样本点，且都位于n维空间 中，而我们要把原n维空间中的样本点投影到k维子空间W中去（k<n），并使得这m个点到投影点的距离(即投影误差)的平方和最小.我们假设投影到的k维子空间的标准正交基（orthonormal basis）为 ，这组标准正交基组成了一个的矩阵U：

则称为子空间W 的投影矩阵（projection matrix）。

如果我们不从标准正交基出发，如何求得W的投影矩阵？设是W 的任意一组基，形成一个的矩阵则W的投影矩阵是

投影矩阵具有如下性质：

记每一个点对应的投影误差为，且投影误差的表达式为，那么我们要最小化的表达式为：

为了后面的推导方便，我将上式除以即样本个数），由于其是定值，所以不影响我们问题的求解

由于是预先给定的样本点，故上式中第一项是定值，因此我们的问题转化为了求第二项的最大值，即

由于（其中U是以子空间W的标准正交基为列构成的矩阵），上面的问题等价于

对其进一步化简得：

因此，等价于

求解上面的要用到最大方差解释中使用的Lagrangian Multiplier，在此不再赘述，而最后求得的就是协方差矩阵的前k个特征向量