奇异分解（SVD）

奇异分解

假设C是m×n矩阵，U是m×m矩阵，其中U的列为 的正交特征向量，V为n×n矩阵，其中V的列为 的正交特征向量，再假设r为C矩阵的秩，则存在奇异值分解：

其中和的特征值相同，为 ，且。 是m

×n的矩阵， ， 。令 ，则 。 称为矩阵C的奇异值。

所以有了矩阵C，可以求得或者，从求得方阵或者的特征值，利用这些特征值得到，从而求得，求得的时候已经求得U或者V。

例题：

，求A的奇异值分解。

解：

， ，

，

故 ，

当 时，特征向量为 ，， ，

标准化后 ， ，令

同理，先求 ，再求U。

，

当 时，特征向量 ，， ，，

，，

由此可知， ，，a是一个常数，然后单位化 便得到 。

所以

，

最后得

---------------------------------------------------------------------------------

特征值分解——EVD

在这里，选择一种特殊的矩阵——对称阵（酉空间中叫hermite矩阵即厄米阵）。对称阵有一个很优美的性质：它总能相似对角化，对称阵不同特征值对应的特征向量两两正交。一个矩阵能相似对角化即说明其特征子空间即为其列空间，若不能对角化则其特征子空间为列空间的子空间。现在假设存在 的满秩对称矩阵A，它有m个不同的特征值，设特征值为 ,对应的特征向量为 ，则有：

U为的列是两两正交向量，所以它的逆矩阵等于转置矩阵。

奇异值分解——SVD

假设存在一个 矩阵A，A矩阵将n维空间中的向量映射到k 为空间中， 。目标：在n维空间中找一组正交基，使得经过A变换后还是正交的。

假设这组标准正交基为： ，则A矩阵将这组基映射为 ，如果要使他们两两正交，即有以下关系

根据假设，也有以下关系：

所以如果选择v为 的特征向量的话，由于是对称阵，v之间两两正交，那么

这样就找到了正交基使其映射后还是正交基了，现在，将映射后的正交基单位化：

所以

单位化：

由此得到关系：

从而得到

令 ，

则 是A的满秩分解。

Reference

http://blog.csdn.net/zhongkejingwang/article/details/43053513