[机器学习理论] 降维算法PCA、SVD(部分内容，有待更新)

几个概念

正交矩阵

在矩阵论中，正交矩阵（orthogonal matrix）是一个方块矩阵，其元素为实数，而且行向量与列向量皆为正交的单位向量，使得该矩阵的转置矩阵为其逆矩阵: 

其中，为单位矩阵。正交矩阵的行列式值必定为或，因为：

对角矩阵

对角矩阵（英语：diagonal matrix）是一个主对角线之外的元素皆为0的矩阵。对角线上的元素可以为0或其他值。因此n行n列的矩阵 = (d_i,j)若符合以下的性质：

则矩阵为对角矩阵。

性质有：

1. 对角矩阵的和差运算结果还为对角矩阵

2. 对角矩阵的数乘运算结果还为对角矩阵

3. 对角矩阵的乘积运算结果还为对角矩阵

可对角化

如果一个方块矩阵 A 相似于对角矩阵，也就是说，如果存在一个可逆矩阵 P 使得 P ⁻¹AP 是对角矩阵，则它就被称为可对角化的。

对角化是找到可对角化矩阵或映射的相应对角矩阵的过程。可以对角化=存在某组基，使得这个线性变换在这组基的每一个向量上都是伸缩变换的；不能对角化=找不到这样的一组基。

特征向量(通俗理解)

如果存在矩阵对某一个向量或某些向量只发生伸缩变换，不对这些变量产生旋转的效果，那么这些变量称为这个矩阵的特征向量。

特征分解

前面依次引出了三个概念，正交矩阵是想说明这种矩阵的转置矩阵 == 逆矩阵，故而与其转置矩阵乘积等于单位矩阵。可对角化的矩阵可以做特征分解。

即可以将可对角化的矩阵分解为由其特征值和特征向量表示的矩阵之积。

奇异值分解

因为现实情况，大部分矩阵并不是可对角化的。(即大多数数据集的特征数和样本数是不相等的，M*N非方阵, 不符合条件)

故我们就用奇异值分解(SVD)来解决非方阵型矩阵的特征分解，将矩阵分解为奇异向量和奇异值。

参考资料：

矩阵的行列式、秩的意义

矩阵特征值和特征向量详细计算过程

行列式的计算（矩阵外面加个绝对值）

行列式相加减1，

一步步教你轻松学奇异值分解SVD降维算法

秩，行列式和可逆性的几何意义

线性无关矢量组成的矩阵的行列式不为零；线性相关矢量组成的矩阵的行列式必为零。

理解矩阵(一)

理解矩阵(二)

理解矩阵(三)

【通俗理解线性代数】 -- 矩阵的相似对角化