拉普拉斯特征映射（Laplacian Eigenmaps）

1 介绍拉普拉斯特征映射(Laplacian Eigenmaps)是一种不太常见的降维算法,它看问题的角度和常见的降维算法不太相同,是从局部的角度去构建数据之间的关系.也许这样讲有些抽象,具体来讲,拉普拉斯特征映射是一种基于图的降维算法,它希望相互间有关系的点(在图中相连的点)在降维后的空间中尽可能的靠近,从而在降维后仍能保持原有的数据结构. 2 推导拉普拉斯特征映射通过构建邻接矩阵为 $W$ (邻接矩阵定义见这里) 的图来重构数据流形的局部结构特征.其主要思想是,如果两个数据实例 $i$…

Laplacian eigenmap 拉普拉斯特征映射

下面是实验室大牛师兄自己写的一段总结,主要内容是Laplacian Eigenmap中的核心推导过程. 有空还是多点向这位师兄请教,每次都会捡到不少金子. Reference : <Laplacian Eigenmaps for Dimensionality Reduction and Data Representation>,2003,MIT…

四大机器学习降维算法：PCA、LDA、LLE、Laplacian Eigenmaps

四大机器学习降维算法:PCA.LDA.LLE.Laplacian Eigenmaps 机器学习领域中所谓的降维就是指采用某种映射方法,将原高维空间中的数据点映射到低维度的空间中.降维的本质是学习一个映射函数 f : x->y,其中x是原始数据点的表达,目前最多使用向量表达形式. y是数据点映射后的低维向量表达,通常y的维度小于x的维度(当然提高维度也是可以的).f可能是显式的或隐式的.线性的或非线性的. 目前大部分降维算法处理向量表达的数据,也有一些降维算法处理高阶张量表达的数据.之所以使用降维…

【转】四大机器学习降维算法：PCA、LDA、LLE、Laplacian Eigenmaps

最近在找降维的解决方案中,发现了下面的思路,后面可以按照这思路进行尝试下: 链接:http://www.36dsj.com/archives/26723 引言机器学习领域中所谓的降维就是指采用某种映射方法,将原高维空间中的数据点映射到低维度的空间中.降维的本质是学习一个映射函数 f : x->y,其中x是原始数据点的表达,目前最多使用向量表达形式. y是数据点映射后的低维向量表达,通常y的维度小于x的维度(当然提高维度也是可以的).f可能是显式的或隐式的.线性的或非线性的. 目前大部分降维算法…

降维（二）----Laplacian Eigenmaps

降维(二)----Laplacian Eigenmaps 降维系列: 降维(一)----说说主成分分析(PCA)的源头降维(二)----Laplacian Eigenmaps --------------------- 前一篇文章中介绍了主成分分析.PCA的降维原则是最小化投影损失,或者是最大化保留投影后数据的方差.在谈到其缺点的时候,我们说这一目标并不一定有助于数据的分类,换句话说,原本在高维空间中属于两类的样本,降维后可能反而不可分了.这时一种经典的降维方法是LDA,其原理是使降维后的数据…

自组织神经网络介绍：自组织特征映射SOM(Self-organizing feature Map)，第三部分

前面两篇介绍了SOM的基本概念和算法,第一部分,第二部分,本篇具体展开一下应用中的一些trick设定. SOM设计细节输出层设计输出层神经元数量设定和训练集样本的类别数相关,但是实际中我们往往不能清除地知道有多少类.如果神经元节点数少于类别数,则不足以区分全部模式,训练的结果势必将相近的模式类合并为一类:相反,如果神经元节点数多于类别数,则有可能分的过细,或者是出现"死节点",即在训练过程中,某个节点从未获胜过且远离其他获胜节点,因此它们的权值从未得到过更新. 不过一般来说,如果对…

自组织特征映射神经网络（SOFM）

1981年芬兰 Helsink 大学的 T·Kohonen 教授提出一种自组织特征映射网 (Self-Organizing Feature Map , SOFM ), 又称 Kohonen 网 . Kohonen 认为 ,一个神经网络接受外界输入模式时, 将会分为不同的对应区域, 各区域对输入模式具有不同的响应特征,而且这个过程是自动完成的. 自组织特征映射正是根据这一看法提出来的 ,其特点与人脑的自组织特性相类似. 一.SOFM网生物学基础生物学研究表明,在人脑感觉通道上,神经元的组织原理是…

图像融合之拉普拉斯融合（laplacian blending）

一.拉普拉斯融合基本步骤 1. 两幅图像L,R,以及二值掩模mask,给定金字塔层数level. 2. 分别根据L,R构建其对应的拉普拉斯残差金字塔(层数为level),并保留高斯金字塔下采样最顶端的图像(尺寸最小的图像,第level+1层): 拉普拉斯残差金字塔构建方法如下,以L图为例: (1) 对L进行高斯下采样得到downL,OpenCV中pyrDown()函数可以实现此功能.然后再对downL进行高斯上采样得到upL,OpenCV中pyrUp()函数可以实现此功能. (2) 计算原图L与…

拉普拉斯矩阵（Laplacian matrix）

原文地址:https://www.jianshu.com/p/f864bac6cb7a 拉普拉斯矩阵是图论中用到的一种重要矩阵,给定一个有n个顶点的图 G=(V,E),其拉普拉斯矩阵被定义为 L = D-A,D其中为图的度矩阵,A为图的邻接矩阵.例如,给定一个简单的图,如下(例子来自wiki百科): 把此“图”转换为邻接矩阵的形式,记为A: 把W的每一列元素加起来得到N个数,然后把它们放在对角线上(其它地方都是零),组成一个N×N的对角矩阵,记为度矩阵D,如下图所示.其实度矩阵(…

拉普拉斯平滑（Laplacian smoothing）

概念零概率问题:在计算事件的概率时,如果某个事件在观察样本库(训练集)中没有出现过,会导致该事件的概率结果是 $0$ .这是不合理的,不能因为一个事件没有观察到,就被认为该事件一定不可能发生(即该事件的概率为 $0$ ). 拉普拉斯平滑(Laplacian smoothing) 是为了解决零概率的问题. 法国数学家拉普拉斯最早提出用加 $1$ 的方法,估计没有出现过的现象的概率. 理论假设:假定训练样本很大时,每个分量 $x$ 的计数加 $1$ 造成的估计概率变化可以忽略不计,但…

流形学习之等距特征映射（Isomap）

感觉是有很久没有回到博客园,发现自己辛苦写的博客都被别人不加转载的复制粘贴过去真的心塞,不过乐观如我,说明做了一点点东西,不至于太蠢,能帮人最好.回校做毕设,专心研究多流形学习方法,生出了考研的决心.话不多说,看论文带大家走入Joshua B. Tenenbaum的Isomap的世界! 大数据时代的人总是那么的浮躁不安,高维并不可怕,事实的本质总是简单而单调的,因此流形学习理念中直接假设高维的数据都存在低维的本征结构.自“流形”这个概念被提出以来,许多人都在寻找一个高维数据中最现实的问题——降维…

拉普拉斯特征图降维及其python实现

这种方法假设样本点在光滑的流形上,这一方法的计算数据的低维表达,局部近邻信息被最优的保存.以这种方式,可以得到一个能反映流形的几何结构的解. 步骤一:构建一个图G=(V,E),其中V={vi,i=1,2,3-n}是顶点的集合,E={eij}是连接顶点的vi和vj边,图的每一个节点vi与样本集X中的一个点xi相关.如果xi,xj相距较近,我们就连接vi,vj.也就是说在各自节点插入一个边eij,如果Xj在xi的k领域中,k是定义参数. 步骤二:每个边都与一个权值Wij相对应,没有连接点之间的权值为…

SVM高斯核为何会将特征映射到无穷维？【转载】

转自:https://www.zhihu.com/question/35602879 1.问题: SVM中,对于线性不可分的情况下,我们利用升维,把低维度映射到到维度让数据变得“更可能线性可分”,为了避免维度爆炸,我们巧妙的运用了核函数,避免了在高维度空间的计算,而只需要在低维度空间进行计算. 对于核函数,有: 多项式核: 高斯核: 对于多项式核,我们把低维度映射到高维度,我们可以从公式中很容易的理解,但是对于高斯核,“把维度映射到无穷多维”,是如何理解的?如何看出是“无穷多维”的? 2.回答…

[占位-未完成]scikit-learn一般实例之十二:用于RBF核的显式特征映射逼近

It shows how to use RBFSampler and Nystroem to approximate the feature map of an RBF kernel for classification with an SVM on the digits dataset. Results using a linear SVM in the original space, a linear SVM using the approximate mappings and using…

学习笔记TF047:PlayGround、TensorBoard

PlayGround.http://playground.tensorflow.org .教学目的简单神经网络在线演示.实验图形化平台.可视化神经网络训练过程.在浏览器训练神经网络.界面,数据(DATA).特征(FEATURES).神经网络隐藏层(HIDDEN LAYERS).层中连接线.输出(OUTPUT). 数据.二维平面,蓝色正值,黄色负值.数据形态,圆形.异或.高斯.螺旋.数据配置,调整噪声(noise)大小,改变训练.测试数据比例(ratio),调整入输入每批(batch)数据数量1-…

ML: 降维算法-LE

PCA的降维原则是最小化投影损失,或者是最大化保留投影后数据的方差.LDA降维需要知道降维前数据分别属于哪一类,而且还要知道数据完整的高维信息.拉普拉斯特征映射 (Laplacian Eigenmaps,LE)看问题的角度和LLE十分相似.它们都用图的角度去构建数据之间的关系.图中的每个顶点代表一个数据,每一条边权重代表数据之间的相似程度,越相似则权值越大.并且它们还都假设数据具有局部结构性质.LE假设每一点只与它距离最近的一些点相似,再远一些的数据相似程度为0,降维后相近的点尽可能保持相近.而…

ML: 降维算法-概述

机器学习领域中所谓的降维就是指采用某种映射方法,将原高维空间中的数据点映射到低维度的空间中.降维的本质是学习一个映射函数 f : x->y,其中x是原始数据点的表达, y是数据点映射后的低维向量表达,通常y的维度小于x的维度(当然提高维度也是可以的).f可能是显式的或隐式的.线性的或非线性的.使用降维的原因: 压缩数据以减少存储量. 去除噪声的影响从数据中提取特征以便于进行分类将数据投影到低维可视空间,以便于看清数据的分布变量(特征)数量相对数据条数有可能过大,从而不符合某些模型的需求.打…

机器学习降维方法概括， LASSO参数缩减、主成分分析PCA、小波分析、线性判别LDA、拉普拉斯映射、深度学习SparseAutoEncoder、矩阵奇异值分解SVD、LLE局部线性嵌入、Isomap等距映射

机器学习降维方法概括版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/u014772862/article/details/52335970 最近刷题看到特征降维相关试题,发现自己了解的真是太少啦,只知道最简单的降维方法,这里列出了常见的降维方法,有些算法并没有详细推导.特征降维方法包括:Lasso,PCA,小波分析,LDA,奇异值分解SVD,拉普拉斯特征映射,SparseAutoEncoder,局部线性嵌入LLE,等距映射Isomap. 1…

流形学习（manifold learning）综述

原文地址:https://blog.csdn.net/dllian/article/details/7472916 假设数据是均匀采样于一个高维欧氏空间中的低维流形,流形学习就是从高维采样数据中恢复低维流形结构,即找到高维空间中的低维流形,并求出相应的嵌入映射,以实现维数约简或者数据可视化.它是从观测到的现象中去寻找事物的本质,找到产生数据的内在规律.流形学习方法是模式识别中的基本方法,分为线性流形学习算法和非线性流形学习算法,线性方法就是传统的方法如主成分分析(PCA)和线性判别分析(LDA)…

ML:流形学习

很多原理性的东西需要有基础性的理解,还是篇幅过少,所以讲解的不是特别的清晰. 原文链接:http://blog.sciencenet.cn/blog-722391-583413.html 流形(manifold)的概念最早是在1854年由 Riemann 提出的(德文Mannigfaltigkeit),现代使用的流形定义则是由 Hermann Weyl 在1913年给出的. 流形(Manifold),一般可以认为是局部具有欧氏空间性质的拓扑空间.而实际上欧氏空间就是流形最简单的实例.像地球表面这…

TSNE——目前最好的降维方法

转自:http://blog.csdn.net/u012162613/article/details/45920827 1.流形学习的概念流形学习方法(Manifold Learning),简称流形学习,自2000年在著名的科学杂志<Science>被首次提出以来,已成为信息科学领域的研究热点.在理论和应用上,流形学习方法都具有重要的研究意义. 假设数据是均匀采样于一个高维欧氏空间中的低维流形,流形学习就是从高维采样数据中恢复低维流形结构,即找到高维空间中的低维流形,并求出相应的嵌入映射,以…

SIGAI机器学习第九集数据降维2

讲授LDA基本思想,寻找最佳投影矩阵,PCA与LDA的比较,LDA的实际应用大纲: 非线性降维算法流形的概念流形学习的概念局部线性嵌入拉普拉斯特征映射局部保持投影等距映射实验环节非线性降维算法: 上节介绍了经典的PCA算法,它虽然在很多问题上取得了成功,但是它有它的局限性,因为在现实世界中我们要处理的很多数据它是非线性的,而PCA本身是一个线性化的算法,用线性算法处理非线性问题是不太合适的,所以我们要有非线性的降维技术. 通过一个非线性的函数将x映射到另一个空间中去,得到一个向量y,x的维度…

[Scikit-learn] 2.3 Clustering - Spectral clustering

From: 2.3.5 Clustering - Spectral clustering From: 漫谈 Clustering (4): Spectral Clustering From: 漫谈 Clustering (番外篇): Dimensionality Reduction 传统方式的弊端事实上,Laplacian Eigenmap (拉普拉斯特征映射) 假设数据分布在一个嵌套在高维空间中的低维流形上, Laplacian Matrix 则是流形的 Laplace Beltrami…

论文解读（Line）《LINE: Large-scale Information Network Embedding》

论文题目:<LINE: Large-scale Information Network Embedding>发表时间: KDD 2015论文作者: Jian Tang, Meng Qu , Mingzhe Wang, Ming Zhang, Jun Yan, Qiaozhu Mei论文地址: Download 前言大规模信息网络 (large-scale information Network) 无论在存取性,使用性上比起普通的信息处理方式更加复杂,更加多变,例如航空公司网络,出版物网…

谱多流形聚类SMMC

今天是2015年的最后一天,决定尽量乘着这三天休息把毕设主题的博客给更完,今天写smmc的算法,接下来三天会对前面的三个算法kmeans.SC以及smmc应用在今年的研究生建模提供的数据中进行matlab实现从而进行效果对比,还有一件高兴的事情是进入沪江三年多了,第一次被cctalk里面的老师抱上麦进行真正意义上的英文对话,搞得都想转行去魔都发展英文了.哈哈,言归正传,进入学术世界吧- 注意:这里的文字很多摘抄于发表在IEEE上的英文论文<Spectral Clustering on Multi…