pca总结,非常详细
#coding=utf-
from numpy import * '''通过方差的百分比来计算将数据降到多少维是比较合适的,
函数传入的参数是特征值和百分比percentage,返回需要降到的维度数num'''
def eigValPct(eigVals,percentage):
sortArray=sort(eigVals) #使用numpy中的sort()对特征值按照从小到大排序 sortArray=sortArray[::-] #特征值从大到小排序 arraySum=sum(sortArray) #数据全部的方差arraySum
#percentage 表示的是降为到所有方差和的多少.也就是保留数据的多少波动性.越大保留越多
#比如percentage写0.99那么就是num返回2 ,如果写0.7就返回1
tempSum=
num=
for i in sortArray:
tempSum+=i
num+=
if tempSum>=arraySum*percentage:
return num '''pca函数有两个参数,其中dataMat是已经转换成矩阵matrix形式的数据集,列表示特征;
其中的percentage表示取前多少个特征需要达到的方差占比,默认为0.'''
def pca(dataMat,percentage=0.9):
meanVals=mean(dataMat,axis=) #对每一列求平均值,因为协方差的计算中需要减去均值
meanRemoved=dataMat-meanVals covMat=cov(meanRemoved,rowvar=) #cov()计算方差
#是一个4*4的矩阵 即feature_size*feature_size
eigVals,eigVects=linalg.eig(mat(covMat)) #利用numpy中寻找特征值和特征向量的模块linalg中的eig()方法 k=eigValPct(eigVals,percentage) #要达到方差的百分比percentage,需要前k个向量 eigValInd=argsort(eigVals) #对特征值eigVals从小到大排序 eigValInd=eigValInd[:-(k+):-] #从排好序的特征值,从后往前取k个,这样就实现了特征值的从大到小排列 redEigVects=eigVects[:,eigValInd] #返回排序后特征值对应的特征向量redEigVects(主成分)
#投影就是直接矩阵乘法,两个向量做内机就是做投影,归结到矩阵就是矩阵乘法.
#其实不是投影,而是一个忽略了特征向量摸长的投影,所以这个做完了得到的是一个投影之后在主方向上再伸缩一下.
#这里周志华树里面给的特征向量组成的这个矩阵是u矩阵的. #重要性质:一个n行n列的实对称矩阵一定可以找到n个单位正交特征向量,证明显然.
#但是问题是直接通过numpy里面的eig得到的是正交的向量吗?只需要看下面的这个是不是除了对角线上全都是0
#经过实验还真不是.numpy给的是随便给的一个.
## print (redEigVects*redEigVects.T) lowDDataMat=meanRemoved*redEigVects #将原始数据投影到主成分上得到新的低维数据lowDDataMat
## print (redEigVects*redEigVects.T) #特征向量矩阵不是u矩阵
reconMat=(lowDDataMat*redEigVects.T)+meanVals #得到重构数据reconMat?没懂怎么重构的
#据我分析这里面乘以专职也就是一个近似的逆,然后得到后也是忽略方向的伸缩
#貌似这里面的专职就能达到乘以逆的效果,需要证明一下.这个证明也是显然的.
#总结一下就是直接做*redEigVects*redEigVects.T就达到了降为然后再你回去的效果.确实很方便.
return lowDDataMat,reconMat
a=pca(array([[,,,-],[,,,-],[,,,],[,,,],[,,,],[,,,]]))
print (a[])#这个输出的就是pca之后再变回去的数据 a=array([[,,,-],[,,,-],[,,,],[,,,],[,,,],[,,,]]) #下面是用库包来实现的,更少代码~~~~~~~~~~~~~~~~~~~~~~~~~
import numpy as np
from sklearn import decomposition
from sklearn import datasets
meanVals=mean(a,axis=)
pca = decomposition.PCA(n_components=)
pca.fit(a)
a = pca.transform(a) a = np.matrix(a)
b = np.matrix(pca.components_)
c = a * b c+=meanVals
print (c) #从结果看到完全一样.
pca总结,非常详细的更多相关文章
- PCA主成分分析Python实现
作者:拾毅者 出处:http://blog.csdn.net/Dream_angel_Z/article/details/50760130 Github源代码:https://github.com/c ...
- t-SNE and PCA
1.t-SNE 知乎 t-分布领域嵌入算法 虽然主打非线性高维数据降维,但是很少用,因为 比较适合应用于可视化,测试模型的效果 保证在低维上数据的分布与原始特征空间分布的相似性高 因此用来查看分类器的 ...
- 机器学习——主成分分析(PCA)
1 前言 PCA(Principal Component Analysis)是一种常用的无监督学习方法,是一种常用的数据分析方法. PCA 通过利用 正交变换 把由 线性相关变量 表示的观测数据转换为 ...
- NLP 自然语言处理实战
前言 自然语言处理 ( Natural Language Processing, NLP) 是计算机科学领域与人工智能领域中的一个重要方向.它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和 ...
- 详细且透彻的分析PCA原理
前两天面试问到了PCA,感觉讲得不是很透彻,这里再次详细写一下. 首先定义如下变量的含义: X:Rn*m,n个样本m个属性,对于第i个样本xi:R1*m. W:Rm*k,k个正交的单位正交的列向量组成 ...
- PCA历程详细python代码(原创)
#PCA主成分分析,原文为文末的链接,代码为自己亲自手码 def cov_out1(dx,dy): #第一步:求解x,y各自的均值 mean_x=0 mean_y=0 for i in range(l ...
- 机器学习基础与实践(三)----数据降维之PCA
写在前面:本来这篇应该是上周四更新,但是上周四写了一篇深度学习的反向传播法的过程,就推迟更新了.本来想参考PRML来写,但是发现里面涉及到比较多的数学知识,写出来可能不好理解,我决定还是用最通俗的方法 ...
- 主成分分析 (PCA) 与其高维度下python实现(简单人脸识别)
Introduction 主成分分析(Principal Components Analysis)是一种对特征进行降维的方法.由于观测指标间存在相关性,将导致信息的重叠与低效,我们倾向于用少量的.尽可 ...
- 主成分分析(principal components analysis, PCA)
原理 计算方法 主要性质 有关统计量 主成分个数的选取 ------------------------------------------------------------------------ ...
随机推荐
- C++官方文档-静态成员
#include <iostream> using namespace std; class Dummy { public: static int n; int x; Dummy() : ...
- 使用Larave5.6l提交POST请求出现The page has expired due to inactivity错误
使用Larave5.6l提交POST请求出现The page has expired due to inactivity错误 一般是由于没有添加 csrf造成的 在表单下面的 第一个行 添加如下代码即 ...
- 数据分析利器之hive优化十大原则
hive之于数据民工,就如同锄头之于农民伯伯.hive用的好,才能从地里(数据库)里挖出更多的数据来. 用过hive的朋友,我想或多或少都有类似的经历:一天下来,没跑几次hive,就到下班时间了. h ...
- WPF 颜色拾色器
效果图: 下载:Code 参考: http://www.codeproject.com/Articles/33001/WPF-A-Simple-Color-Picker-With-Previewhtt ...
- Maven 项目中 添加自己的jar包
mvn install:install-file -Dfile=java-bloomfilter-1.0.jar -DgroupId=com.sina -DartifactId=java-bl ...
- as3 string split方法一些注意
split () 方法 AS3 function split(delimiter:*, limit:Number = 0x7fffffff):Array 如果指定 limit 参数,返回的数组中具有的 ...
- 17 网络编程 C/S架构介绍
1.什么是C/S架构 C指的是client(客户端软件),S指的是Server(服务器软件),本章的重点是教大家写一个C/S架构的软件,实现服务端软件与客户端软件基于网络通信. 2.计算机基础的知识- ...
- windows10配置java开发环境
一.下载jdk 二.安装jdk路径,这个路径不能包含中文名 三.系统会提示安装jre,安装目录不要是jdk的安装目录,否则会覆盖掉jdk目录下的jre目录 四. .;%JAVA_HOME%\lib;% ...
- JSTL标签库学习记录2-fmt
fmt的标签为辅助性功能标签 设置编码 <fmt:requestEncoding value=""> 国际化相关 <fmt:setLocale value=&qu ...
- cmake编译参数
进入源码目录后 cmake . -LH --查看之前编译参数 ccmake . 使用cmake gui界面进行查看和编辑编译用到的参数 (推荐) 源码目录下 INSTALL-SOURCE 文件后面 ...