PCA,SVD】的更多相关文章

本文是对PCA和SVD学习的整理笔记,为了避免很多重复内容的工作,我会在介绍概念的时候引用其他童鞋的工作和内容,具体来源我会标记在参考资料中. 一.PCA (Principle component analysis) PCA(主成分分析)通过线性变换将原始数据变换为一组各维度线性无关的表示,可用于提取数据的主要特征分量,常用于高维数据的降维. 为什么需要降维?以下图为例,图c中的点x y 呈现明显线性相关,假如以数据其实以数据点分布的方向的直线上的投影(一维)已经能够很好的描述这组数据特点了 .…
PCA(principle component analysis)主成分分析 理论依据 最大方差理论 最小平方误差理论 一.最大方差理论(白面机器学习) 对一个矩阵进行降维,我们希望降维之后的每一维数据能够有大的方差. 为什么呢? 因为每一维的方差越大,说明数据之间区分度高,想象一个极端的情况,降维之后的数据集所有维度 都是一样的值,方差为0,那么数据就没什么意义了,因为退化成了一条数据. 二维图生动形象 推导过程    对于n个样本,m维特征 (v1, v2, v3 ... vn), vi是m…
PCA的数学原理 https://www.zhihu.com/question/34143886/answer/196294308 奇异值分解的揭秘(二):降维与奇异向量的意义 奇异值分解的揭秘(一):矩阵的奇异值分解过程 浅谈张量分解(三):如何对稀疏矩阵进行奇异值分解? 如何直观地理解「协方差矩阵」? PCA(主成分分析) 奇异值分解(SVD) 奇异值的物理意义是什么? https://www.zhihu.com/question/22237507/answer/53804902 https…
clear all;close all;clc;img1=imread('Corner.png');img2=imread('Corner1.png');img3=imread('Corner2.png'); img1=imresize(img1,[35 90]); %Matlab的svd不支持太大的数据,我把数据变小了.img2=imresize(img2,[35 90]);img3=imresize(img3,[35 90]); [height width]=size(img2);a=res…
What is an intuitive explanation of the relation between PCA and SVD? 36 FOLLOWERS Last asked: 30 Sep, 2014 QUESTION TOPICS Singular Value Decomposition Principal Component Analysis Intuitive Explanations Statistics (academic discipline) Machine Lear…
PCA降维--两种实现 : SVD或EVD. 强力总结. 在鸢尾花数据集(iris)实做 今天自己实现PCA,从网上看文章的时候,发现有的文章没有搞清楚把SVD(奇异值分解)实现和EVD(特征值分解)实现,查阅多个文章很容易更糊涂,所以搞懂之后写下这个总结. 先说最关键的点: a. PCA两个主要的实现方式: SVD(奇异值分解), EVD(特征值分解). b. 特征值分解方式需要计算协方差矩阵,分解的是协方差矩阵.  SVD方式不需要计算协方差矩阵,分解的是经过中心化的原数据矩阵 1.特征值分…
机器学习中SVD总结 矩阵分解的方法 特征值分解. PCA(Principal Component Analysis)分解,作用:降维.压缩. SVD(Singular Value Decomposition)分解,也叫奇异值分解. LSI(Latent Semantic Indexing)或者叫LSA(Latent Semantic Analysis),隐语义分析分解. PLSA(Probabilistic Latent Semantic Analysis),概率潜在语义分析.PLSA和LDA…
昨天总结了深度学习的资料,今天把机器学习的资料也总结一下(友情提示:有些网站需要"科学上网"^_^) 推荐几本好书: 1.Pattern Recognition and Machine Learning (by Hastie, Tibshirani, and Friedman's ) 2.Elements of Statistical Learning(by Bishop's) 这两本是英文的,但是非常全,第一本需要有一定的数学基础,第可以先看第二本.如果看英文觉得吃力,推荐看一下下面…
模块名称:pca.py PCA原理与紧致技巧原理待补... #-*-coding:UTF-8-*- ''' Created on 2015年3月2日 @author: Ayumi Phoenix ch01 p-14 图像的主成分分析 ''' from PIL import Image import numpy def pca(X): """主成分分析: 输入:矩阵X 每一行为一条训练数据 返回:投影矩阵(按照维度重要性排序),方差,和均值"""…