图像处理中的数学原理具体解释20——主成分变换（PCA）

欢迎关注我的博客专栏“图像处理中的数学原理具体解释”

全文文件夹请见 图像处理中的数学原理具体解释（总纲）

http://blog.csdn.net/baimafujinji/article/details/48467225

阅读本文须要最主要的线性代数知识和概率论基础：）

6.4.2 主成分变换的推导

前面提到的一国经济增长与城市化水平关系的问题是典型二维问题，而协方差也仅仅能处理二维问题。那维数多了自然就须要计算多个协方差。所以自然会想到使用矩阵来组织这些数据。为了帮助读者理解上面给出的协方差矩阵定义。在此举一个简单的三维的样例，如果数据集有 {x,y,z} 三个维度。则协方差矩阵为

可见，协方差矩阵是一个对称的矩阵，并且对角线是各个维度上的方差。

以下通过一个样例来尝试演算协方差矩阵（非常多数学软件都为该操作提供了支持）。须要提醒读者注意的是，协方差矩阵计算的是不同维度之间的协方差，而不是不相同本之间的。比如有一个样本容量为 9 的三维数据。例如以下

依据公式，计算协方差须要计算均值，那是按行计算均值还是按列呢，前面也特别强调了。协方差矩阵是计算不同维度间的协方差，要时刻牢记这一点。样本矩阵的每行是一个样本，每列为一个维度。所以要按列计算均值。

经过计算，不难得到上述数据相应的协方差矩阵例如以下

众所周知，为了描写叙述一个点在直角坐标系中的位置，至少须要两个分量。

图6-17所看到的是两个二维数组，当中左图显示的各个点之间相关性微乎其微，而右图所看到的的各个点之间则高度相关，显然数据散布在一定角度内较为集中。

对于右图而言。仅仅要知道某个点一维分量的大小就能够大致确定其位置。两个分量中任一分量的添加或者降低都能引起还有一分量相应的增减。

相反。左图中的情况却不是这样。

对之前给出的协方差矩阵定义式稍加改写，以使其获得计算上更为直观的便利。则有在X矢量空间（或坐标系下），协方差矩阵Σx的无偏计算公式为

表6-2给出了对于图6-17中左图所看到的的6个样本点的集合。以及经计算后求得的样本集协方差矩阵和相关矩阵的结果。

应当注意，协方差矩阵和相关矩阵二者都是沿对角线对称的。从相关矩阵来看，各个数据分量间存在不相关关系的明显事实就是协方差矩阵（以及相关矩阵）中非对角线元素都是零。

终于计算可得

主成份变换的实现（包括一个实际的计算演示样例）以及它在图像处理中的应用举例，我将在下一篇文章中给出。

图像处理中的数学原理具体解释21——PCA实例与图像编码（http://blog.csdn.net/baimafujinji/article/details/50373143）

我的“图像处理中的数学原理”专栏中之系列文章已经以《图像处理中的数学修炼》为名结集出版（清华大学出版社）。

该书具体介绍图像处理中的数学原理，为你打开一道通往图像世界的数学之门，具体内容及文件夹请见 http://blog.csdn.net/baimafujinji/article/details/48467225