机器学习（十）-------- 降维(Dimensionality Reduction)

降维(Dimensionality Reduction)

降维的目的：1 数据压缩

这个是二维降一维 三维降二维就是落在一个平面上。

2 数据可视化
降维的算法只负责减少维数，新产生的特征的意义就必须由我们自 己去发现了。

主成分分析(PCA)是最常见的降维算法。

在 PCA 中，我们要做的是找到一个方向向量（Vector direction），当我们把所有的数据
都投射到该向量上时，我们希望投射平均均方误差能尽可能地小。

主成分分析与线性回归是两种不同的算法。主成分分析最小化的是投射误差（Projected
Error），而线性回归尝试的是最小化预测误差。线性回归的目的是预测结果，而主成分分析
不作任何预测。

上图中，左边的是线性回归的误差（垂直于横轴投影），右边则是主要成分分析的误差
（垂直于红线投影）。

PCA 将