最近跑深度学习,提出的feature是4096维的,放到我们的程序里,跑得很慢,很慢.... 于是,一怒之下,就给他降维处理了,但是matlab 自带的什么pca( ), princomp( )函数,搞不清楚怎么用的,表示不大明白,下了一个软件包: 名字:Matlab Toolbox for Dimensionality Reduction 链接:http://lvdmaaten.github.io/drtoolbox/ Currently, the Matlab Toolbox for Dim

PCA(Principal Component Analysis) 一.指导思想 降维是实现数据优化的手段,主成分分析(PCA)是实现降维的手段: 降维是在训练算法模型前对数据集进行处理,会丢失信息. 降维后,如果丢失了过多的信息,在我们不能容忍的范围里,就不应该降维. 降维没有正确与否的标准,只有丢失信息的多少: 降维的方式本质是有无穷多种的.我们期望在其中找到“最好”,或者说“丢失信息”最少的那一种: PCA算法使用的是:降维后保持原始数据的方差的多少,来衡量降维后保持原始数据了多少信息:

在主成分分析(PCA)中,介绍了PCA的数学原理,其有用Matlab能够非常方便地对矩阵进行操作! 比方,用Matlab求多个样本的协方差矩阵.求矩阵的特征根和特征向量等. 以下介绍用Matlab实现PCA: 如果有4个样本A.B.C.D,每一个样本都是6维. >> A=[1,2,3,4,5,6]; >> B=[1,3,5,7,9,9]; >> C=[2,3,4,6,7,8]; >> D=[3,4,6,7,8,9]; 将这4个样本组合成一个矩阵Q,矩阵Q的每

MATLAB中“fitgmdist”的用法及其GMM聚类算法 作者:凯鲁嘎吉 - 博客园http://www.cnblogs.com/kailugaji/ 高斯混合模型的基本原理:聚类——GMM,MATLAB官方文档中有关于fitgmdist的介绍:fitgmdist.我之前写过有关GMM聚类的算法:GMM算法的matlab程序.这篇文章主要应用MATLAB自带的函数来进行聚类. 1. fitgmdist函数介绍 fitgmdist的使用形式:gmm = fitgmdist(X,k,Name,V

function [F, maxf, V, S] = Ford_Fulkerson(C, src, sink) n = size(C, 1); F = zeros(n); maxf = 0; V = []; S = []; while true % in: ResNet. ResNet = C - F + F'; % residual network. % out: pre, Df pre = ones(1, n) * NaN; Df = ones(1, n) * inf; % DFS to f

在文本挖掘的分词原理中,我们讲到了文本挖掘的预处理的关键一步:"分词",而在做了分词后,如果我们是做文本分类聚类,则后面关键的特征预处理步骤有向量化或向量化的特例Hash Trick,本文我们就对向量化和特例Hash Trick预处理方法做一个总结. 1. 词袋模型 在讲向量化与Hash Trick之前,我们先说说词袋模型(Bag of Words,简称BoW).词袋模型假设我们不考虑文本中词与词之间的上下文关系,仅仅只考虑所有词的权重.而权重与词在文本中出现的频率有关. 词袋模型首先

原文地址:https://www.jianshu.com/p/2f2d5d5e03f8 一.文本特征 (一)基本文本特征提取 词语数量 常,负面情绪评论含有的词语数量比正面情绪评论更多. 字符数量 常,负面情绪评论含有的字符数量比正面情绪评论更多. 平均词汇长度 平均词汇长度=所有单词长度/单词个数. 停用词数量 有时,计算停用词的数量可以提供去除停用词后失去的额外信息. 特殊字符数量 如"#"."@"等的数量. 数字的数量 并不常用,但在相似任务中常比较有用. 大

http://blog.json.tw/using-matlab-implementing-pca-dimension-reduction 設有m筆資料, 每筆資料皆為n維, 如此可將他們視為一個mxn matrix.若資料的維度太大時, 可能不利於分析, 例如這m筆資料用作機器學習. PCA的想法是算出這mxn matrix的斜方差矩陣, 此矩陣大小為nxn, 計算此矩陣n個特徵值(eigen value)及其對應的特徵向量(eigen vector), 依eigen value大小由小到大排

K-Means算法 非监督式学习对一组无标签的数据试图发现其内在的结构,主要用途包括: 市场划分(Market Segmentation) 社交网络分析(Social Network Analysis) 管理计算机集群(Organize Computer Clusters) 天文学数据分析(Astronomical Data Analysis) K-Means算法属于非监督式学习的一种,算法的输入是:训练数据集$\{x^{(1)},x^{(2)},\ldots, x^{(m)}\}$(其中$x^

PCA主成分分析 import numpy as np import pandas as pd import matplotlib.pyplot as plt # 用鸢尾花数据集 展示 降维的效果 from sklearn.datasets import load_iris iris = load_iris() data = iris.data # 特征值 target = iris.target # 目标值 # 绘制平面散点图 plt.scatter(data[:,0],data[:,1],c

1. 动机一:数据压缩 第二种类型的 无监督学习问题,称为 降维.有几个不同的的原因使你可能想要做降维.一是数据压缩,数据压缩不仅允许我们压缩数据,因而使用较少的计算机内存或磁盘空间,但它也让我们加快我们的学习算法. 但首先,让我们谈论 降维是什么.作为一种生动的例子,我们收集的数据集,有许多,许多特征,我绘制两个在这里. 将数据从二维降一维: 将数据从三维降至二维: 这个例子中我们要将一个三维的特征向量降至一个二维的特征向量.过程是与上面类似的,我们将三维向量投射到一个二维的平面上,强迫使得所

一.特征向量/特征值 Av = λv 如果把矩阵看作是一个运动,运动的方向叫做特征向量,运动的速度叫做特征值.对于上式,v为A矩阵的特征向量,λ为A矩阵的特征值. 假设:v不是A的速度(方向) 结果如上,不能满足上式的. 二.协方差矩阵 方差(Variance)是度量一组数据分散的程度.方差是各个样本与样本均值的差的平方和的均值. 协方差(Covariance)是度量两个变量的变动的同步程度,也就是度量两个变量线性相关性程度.如果两个变量的协方差为0,则统计学上认为二者线性无关.而方差是协方差的

一.LDA算法 基本思想:LDA是一种监督学习的降维技术,也就是说它的数据集的每个样本是有类别输出的.这点和PCA不同.PCA是不考虑样本类别输出的无监督降维技术. 我们要将数据在低维度上进行投影,投影后希望每一种类别数据的投影点尽可能的接近,而不同类别的数据的类别中心之间的距离尽可能的大. 浅显来讲,LDA方法的考虑是,对于一个多类别的分类问题,想要把它们映射到一个低维空间,如一维空间从而达到降维的目的,我们希望映射之后的数据间,两个类别之间“离得越远”,且类别内的数据点之间“离得越近”,这样

PCA(主成分分析法) 1. PCA(最大化方差定义或者最小化投影误差定义)是一种无监督算法,也就是我们不需要标签也能对数据做降维,这就使得其应用范围更加广泛了.那么PCA的核心思想是什么呢? 例如D维变量构成的数据集,PCA的目标是将数据投影到维度为K的子空间中,要求K<D且最大化投影数据的方差.这里的K值既可以指定,也可以利用主成分的信息来确定. PCA其实就是方差与协方差的运用. 降维的优化目标:将一组 N 维向量降为 K 维,其目标是选择 K 个单位正交基,使得原始数据变换到这组基上后,

降维工具箱drtool   这个工具箱的主页如下,现在的最新版本是2013.3.21更新,版本v0.8.1b http://homepage.tudelft.nl/19j49/Matlab_Toolbox_for_Dimensionality_Reduction.html     这里有两个这个工具箱的简单介绍: [Matlab]数据降维工具箱drtoolbox http://blog.csdn.net/xiaowei_cqu/article/details/7515077 [Dimension

PCA是一种非监督学习算法,它能够在保留大多数有用信息的情况下,有效降低数据纬度. 它主要应用在以下三个方面: 1. 提升算法速度 2. 压缩数据,减小内存.硬盘空间的消耗 3. 图示化数据,将高纬数据映射到2维或3维 总而言之,PCA干的事情就是完成一个将原始的n维数据转化到k维的映射.其中,k<n 它的核心算法如下: 1. 将数据均一化 x' = [x-mean(x)] / range(x) 2. 计算它的协方差矩阵 即:Sigma = 1/m * x' * x 3. 进行svd分解,计算特

一个信号往往包含多个维度,各个维度之间可能包含较强的相关性.下图表示的是一组二维信号x=(x1,x2),可以看到数据点基本上分布在x2=x1这条直线上,二者存在很强的相关性(也就是确定x1之后,就能确定x2的大致范围). 主成分分析(Principal Component Analysis, PCA)的目的在于寻找到一组基,将信号投影到这组基上面,从而能够去除信号各个维度之间的相关性.如下图,u1和u2是通过PCA找到的两个基向量,将信号投影到该基向量上,信号各维度之间的相关性就基本被去除了.

转自http://www.cnblogs.com/jerrylead/archive/2011/04/18/2020209.html http://www.cnblogs.com/jerrylead/archive/2011/04/18/2020216.html 几个特别有用 的链接: 更加深入理解pca,在斯坦福大学的机器学习上的更加深入的分析.. http://blog.csdn.net/ybdesire/article/details/64546435 http://blog.csdn.n

运用PCA对高维数据进行降维,有一下几个特点: (1)数据从高维空间降到低维,因为求方差的缘故,相似的特征会被合并掉,因此数据会缩减,特征的个数会减小,这有利于防止过拟合现象的出现.但PCA并不是一种好的防止过拟合的方法,在防止过拟合的时候,最好是对数据进行正则化: (2)使用降维的方法,使算法的运行速度加快: (3)减少用来存储数据的内存空间: (4)从x(i)到z(i)的映射过程中,对训练数据进行降维,然后对测试数据或验证数据进行降维:

四大机器学习降维算法:PCA.LDA.LLE.Laplacian Eigenmaps 机器学习领域中所谓的降维就是指采用某种映射方法,将原高维空间中的数据点映射到低维度的空间中.降维的本质是学习一个映射函数 f : x->y,其中x是原始数据点的表达,目前最多使用向量表达形式. y是数据点映射后的低维向量表达,通常y的维度小于x的维度(当然提高维度也是可以的).f可能是显式的或隐式的.线性的或非线性的. 目前大部分降维算法处理向量表达的数据,也有一些降维算法处理高阶张量表达的数据.之所以使用降维

之前总结过关于PCA的知识:深入学习主成分分析(PCA)算法原理.这里打算再写一篇笔记,总结一下如何使用scikit-learn工具来进行PCA降维. 在数据处理中,经常会遇到特征维度比样本数量多得多的情况,如果拿到实际工程中去跑,效果不一定好.一是因为冗余的特征会带来一些噪音,影响计算的结果:二是因为无关的特征会加大计算量,耗费时间和资源.所以我们通常会对数据重新变换一下,再跑模型.数据变换的目的不仅仅是降维,还可以消除特征之间的相关性,并发现一些潜在的特征变量. 降维算法由很多,比如PCA