ISOMAP和MDS降维

转载自https://blog.csdn.net/victoriaw/article/details/78497316

核心：测地线距离（dijstra最短路径获得）、MDS降维

Isomap（Isometric Feature Mapping）是流行学习的一种，用于非线性数据降维，是一种无监督算法。

它所采用的核心算法和MDS是一致的，区别在于原始空间中的距离矩阵的计算上。很多数据是非线性结构，不适合直接采用PCA算法和MDS算法。在非线性数据结构中，流形上距离很远（测地线距离）的两个数据点，在高维空间中的距离（欧式距离）可能非常近，如下图所示：

只有测地线距离才反映了流形的真实低维几何结构。Isomap建立在MDS的基础上，保留的是非线性数据的本质几何结构，即任意点对之间的测地线距离。

现在的问题是怎么根据输入空间距离信息估计测地线距离？对于邻居数据点，其输入空间距离可以很好地近似测地线距离。在每个数据点和其邻居点之间添加加权边，得到一个连接图。距离较远的数据点之间的测地线距离可以通过最短路径距离近似。

Isomap算法总共分为三步。首先，为每个数据点确定邻居，有两种方式，一种是把最近的kk个作为邻居，一种是把半径ϵϵ内的所有点作为邻居。可以得到加权图，边上的权重表示两点之间的输入空间距离dX(i,j)dX(i,j)。

然后，对任意两个点对，计算最短路径距离dG(i,j)dG(i,j)作为测地线距离的估计。可以采用Dijkstra算法计算最短路径。

最后，把根据最短路径确定的距离矩阵DGDG作为MDS算法的输入，得到低维空间中最好地保留流形的本质结构的数据表示。

在计算近邻时，如果邻域范围指定得较大，那么距离较远的点可能被认为是近邻，造成“短路”问题；如果邻域范围指定的小，那么图中某些区域可能和其他区域不连通，出现“断路”问题。短路或者断路都会给后面计算最短路径造成误导。

MDS降维

1、https://blog.csdn.net/zwlq1314521/article/details/59483232?locationNum=8&fps=1