奇异值分解(SVD)详解及其应用

参考：https://blog.csdn.net/shenziheng1/article/details/52916278

论文：http://www-users.math.umn.edu/~lerman/math5467/svd.pdf

几何意义：https://blog.csdn.net/redline2005/article/details/24100293

numpy实现：https://blog.csdn.net/u010099080/article/details/68060274

视觉SLAM中的ICP(3D-3D)，机器学习中的PCA方法等都用到SVD。

前言

奇异值分解是一个有着很明显的物理意义的一种方法，它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些小矩阵描述的是矩阵的重要的特性。就像是描述一个人一样，给别人描述说这个人长得浓眉大眼，方脸，络腮胡，而且带个黑框的眼镜，这样寥寥的几个特征，就让别人脑海里面就有一个较为清楚的认识，实际上，人脸上的特征是有着无数种的，之所以能这么描述，是因为人天生就有着非常好的抽取重要特征的能力，让机器学会抽取重要的特征，SVD是也一个重要的方法。在机器学习领域，有相当多的应用与奇异值都可以扯上关系，比如做feature reduction的PCA。