PCA(Principal Component Analysis)笔记

PCA是机器学习中recognition中的传统方法，今天下午遇到了，梳理记一下

提出背景：

二维空间里，2个相近的样本，有更大概率具有相同的属性，但是在高维空间里，由于样本在高维空间里，呈现越来越稀疏的特性，即使相同属性的样本，距离也是随着维度提高，越来越远。

如100 * 100的照片分析，数据维度10000维，数据维度太高，计算机处理复杂度高，需要将维度降低（因为10000维里面数据之间存在相关关系，所以可以除去重复维度信息，而保持信息不丢失）

降维方法

1.以二维空间的5个样本X为例

先进行零均值化变为 

 

坐标轴上表示为：

                                     

2.求原始坐标空间x，y的协方差矩阵

                                                                

 x和y轴上均值为0， 所以x轴上元素的方差Variance（x）满足：

                                

 x轴，y轴上元素的方差Coariance（x，y）满足：

                               

我们将原始矩阵X做如下变换

                                

此时矩阵对角线上的元素是X，Y轴上的方差，邪对角线上的元素是，XY的协方差，此规律扩展到多维空间，同样成立：

                                                                          C是一个对称矩阵，其对角线分别个各个轴的方差，而第 i 行 i 列和，  j 行 i 列元素相同，表示和两个轴的协方差。

 

3.将X经过P做基变换后得到Y = PX，此时Y已变换到以P为基的新空间，这个空间维数更少，Y的各轴上方差达到最大，且轴与轴之间协方差最小

          

                             

 

                             
在变换后的新空间上，Y的各轴方差，和轴与轴之间的协方差，可以通过Y的协方差矩阵D表示

                          

 我们的优化目标即：Y的新空间上的新坐标轴上方差达到最大，且轴与轴之间协方差最小，此目标等价于Y的协方差矩阵D的对角化（非对角线上全为0，表示各轴之间表示的信息相互独立，将对角线上元素按照从大往小排列，最大的第1个元素，在那个轴上的方差最大）

                       

4.C是一个实对称矩阵（

                           

5.

                           

 对C求得特征值为，对应的特征向量为:

                                            

6.

                            

           

                

                           

如下图所示：