【资料收集】PCA降维

重点整理：

PCA（Principal Components Analysis）即主成分分析，是图像处理中经常用到的降维方法

1、原始数据：

假定数据是二维的

x=[2.5, 0.5, 2.2, 1.9, 3.1, 2.3, 2, 1, 1.5, 1.1]T

y=[2.4, 0.7, 2.9, 2.2, 3.0, 2.7, 1.6, 1.1, 1.6, 0.9]T

2、计算协方差矩阵

（1）协方差矩阵：

标准差和方差一般是用来描述一维数据的

协方差就是一种用来度量两个随机变量关系的统计量（协方差也只能处理二维问题，需要计算多个协方差）

协方差矩阵是一个对称的矩阵，而且对角线是各个维度上的方差。

（2）协方差矩阵的求法：

协方差矩阵计算的是不同维度之间的协方差，而不是不同样本之间的

协方差矩阵是计算不同维度间的协方差，要时刻牢记这一点。样本矩阵的每行是一个样本，每列为一个维度，所以我们要按列计算均值

3、计算协方差矩阵的特征向量和特征值

这些矢量都是单位矢量，也就是它们的长度为1，这对PCA来说是很重要

4、选择成分组成模式矢量

按照特征值由大到小进行排列，这将给出成分的重要性级别。

如果你的原始数据是n维的，你选择了前p个主要成分，那么你现在的数据将仅有p维。现在我们要做的是组成一个模式矢量，它由你保持的所有特征矢量构成，每一个特征矢量是这个矩阵的一列。

参考：

PCA降维方法（主成分分析）详解 http://chyyeng.blog.163.com/blog/static/169182302012111433537985/

PCA算法学习_1(OpenCV中PCA实现人脸降维) - tornadomeet - 博客园 http://www.cnblogs.com/tornadomeet/archive/2012/09/06/2673104.html

核PCA（1）_落落_新浪博客 http://blog.sina.com.cn/s/blog_69d515b10100kim3.html