正交矩阵、EVD、SVD

原文地址：https://www.jianshu.com/p/1004dd342fe2

一、正交矩阵

二、EVD

特征值分解(Eigen Value Decomposition, EVD)。
对于对称阵\(A_{m*m}\)，设特征值为\(\lambda_i\)，对应的单位特征向量为\(x_i\)，则有

若\(A\)非满秩，会导致维度退化，使得向量落入\(m\)维空间的子空间中。
最后，\(U\)变换是\(U^T\)变换的逆变换。

三、SVD

奇异值分解(Singular Value Decomposition, SVD)。
对任意一个\(m*n\)的矩阵\(A\)，能否找到一组正交基使得其经过\(A\)变换后得到的还是一组正交基呢？
答案是能，这也正是SVD的设计精髓所在。
现假设存在\(A_{m*n}\)，\(rank(A)=k\)。


因此，
\(A=U \Sigma V^T\)，
\(AA^T=(U \Sigma V^T)(U \Sigma V^T)^T=U \Sigma V^T V \Sigma^T U^T=U \Sigma^2 U^T\)，
\(A^T A=(U \Sigma V^T)^T(U \Sigma V^T)= V \Sigma^T U^T U \Sigma V^T=V \Sigma^2 V^T\)。