05-04 scikit-learn库之主成分分析
更新、更全的《机器学习》的更新网站,更有python、go、数据结构与算法、爬虫、人工智能教学等着你:https://www.cnblogs.com/nickchen121/p/11686958.html
scikit-learn库之主成分分析
PCA在scikit-leran库中的sklearn.decomposition
包下,PCA即最普通的PCA,PCA也有很多变种,我们主要会讲解PCA,然后聊一聊KernelPCA
、IncremetalPCA
、SparsePCA
、MiniBatchSparsePCA
。
接下来将会讨论上述五者的区别,由于是从官方文档翻译而来,翻译会略有偏颇,有兴趣的也可以去scikit-learn官方文档查看https://scikit-learn.org/stable/modules/classes.html#module-sklearn.decomposition
一、PCA
1.1 使用场景
PCA是PCA系列降维算法中最原始的降维方法,因为原始,所以它一般是我们首选的,如果感觉原始的PCA可能无法解决我们的问题,我们可以尝试使用其他的PCA系列的降维算法。
1.2 代码
import numpy as np
from sklearn.decomposition import PCA
X = np.array([[-1, -1, 2], [-2, -1, 1], [-3, -2, 3],
[1, 1, 2], [2, 1, 2], [3, 2, 3]])
pca = PCA(n_components=2)
pca.fit(X)
PCA(copy=True, iterated_power='auto', n_components=2, random_state=None,
svd_solver='auto', tol=0.0, whiten=False)
print(pca.explained_variance_ratio_)
[0.92991028 0.06363895]
print(pca.singular_values_)
[6.311193 1.65102037]
pca = PCA(n_components=2, svd_solver='full')
pca.fit(X)
PCA(copy=True, iterated_power='auto', n_components=2, random_state=None,
svd_solver='full', tol=0.0, whiten=False)
print(pca.explained_variance_ratio_)
[0.92991028 0.06363895]
print(pca.singular_values_)
[6.311193 1.65102037]
pca = PCA(n_components=1, svd_solver='arpack')
pca.fit(X)
PCA(copy=True, iterated_power='auto', n_components=1, random_state=None,
svd_solver='arpack', tol=0.0, whiten=False)
print(pca.explained_variance_ratio_)
[0.92991028]
print(pca.singular_values_)
[6.311193]
1.3 参数
- n_components:特征维度数目,float类型或str类型。该参数可以用来控制降维到的维度数。
- 设置一个大于等于1且小于样本特征的整数。
- 设置\((0,1]\)内的数,指定主成分方差和所占的最小比例阈值。
- 设置为'mle',即由模型通过MLE算法根据特征的方差分布情况自己选择。
- copy:bool类型。如果为True,在传递给fit()方法的数据上降维,如果为False,传递给fit()方法的数据将会被覆盖,即在原来的数据上进行降维计算。默认为True。
- whiten:白化,bool类型。判断是否白化,白化就是对降维后的数据归一化,让方差都为1。一般不推荐白化,如果PCA降维后需要进行数据处理,可以考虑白化。默认为False。
- svd_solver:奇异值分解方法,str类型。指定奇异值分解SVD的方法,一般PCA库都是基于SVD实现的。
- 'auto':PCA自动权衡下面三种实现方式。
- 'full':传统的SVD,使用scipy库实现。
- 'arpack':适用于数据量大,数据维度多,同时主成分数目比例较低的PCA降维,使用scipy库实现。
- 'randomized':适用于数据量大,数据维度多,同时主成分数目比例较低的PCA降维,使用scikit-learn实现。
- tol:停止求解的标准,float类型。当svd_solver='arpack'停止算法的奇异值阈值。默认为0。
- iterated_power:int类型或'auto'。当svd_solver='randomized'时计算幂方法的迭代次数。默认为'auto'。
- random_state:随机数种子,int类型。使用后可以保证随机数不会随着时间的变化而变化。默认为None。
1.4 属性
- components_:array类型。返回具有最大方差的成分。
- explained_variance_:array类型。降维后的各主成分的方差值,主成分方差值越大,则说明这个主成分越重要
- explained_variance_ratio_:array类型。降维后的各主成分的方差值占总方差值的比例,主成分所占比例越大,则说明这个主成分越重要。
- singular_values_:array类型。返回每个成分对应的奇异值。
- mean_:array类型。每个值的经验均值。
- n_components_:int类型。返回保留的成分个数。
- noise_variance_:float类型。返回噪声的协方差。
1.5 方法
- fit(X,y):把数据放入模型中训练模型。
- fit_transform(X,[,y])all:训练模型同时返回降维后的数据。
- get_covariance():计算数据的协方差。
- get_params([deep]):返回模型的参数,可以用于Pipeline中。
- get_precision():计算数据的精确度矩阵。
- inverse_transform:将降维后的数据转换成原始数据,但可能不会完全一样,会有些许差别。
- score(X,y):基于报告决定系数\(R^2\)评估模型。
- score_samples:返回每个样本的对数似然。
- set_prams(**params):创建模型参数。
- transform(X):对于训练好的数据降维。
二、KernelPCA
KernelPCA
模型类似于非线性支持向量机,使用核技巧处理非线性数据的降维,主要是选择合适的核函数。
三、IncrementalPCA
IncrementalPCA
模型主要是为了解决计算机内存限制问题。工业上样本量和维度都是非常大的,如果直接拟合数据,机器性能一般都无法支撑。IncrementalPCA
则会将数据分成多个batch,然后对每个batch依次递增调用partial_fit函数对样本降维。
四、SparsePCA
SparsePCA
模型相较于普通的PCA
区别在于使用了L1正则化,即对非主成分的影响降为0,避免了噪声对降维的影响。
五、MiniBatchSparsePCA
MiniBatchSparsePCA
模型类似于SparsePCA
,不同之处在于MiniBatchSparsePCA
模型通过使用一部分样本特征和给定的迭代次数进行降维,以此来解决特征分解过慢的问题。
05-04 scikit-learn库之主成分分析的更多相关文章
- Scikit Learn: 在python中机器学习
转自:http://my.oschina.net/u/175377/blog/84420#OSC_h2_23 Scikit Learn: 在python中机器学习 Warning 警告:有些没能理解的 ...
- kFreeBSD 7.0于2013/05/04发布 桌面环境 GNOME 3....
kFreeBSD 7.0于2013/05/04发布 桌面环境 GNOME 3.4, KDE 4.8.4, Xfce 4.8, and LXDE
- scikit learn 模块 调参 pipeline+girdsearch 数据举例:文档分类 (python代码)
scikit learn 模块 调参 pipeline+girdsearch 数据举例:文档分类数据集 fetch_20newsgroups #-*- coding: UTF-8 -*- import ...
- (原创)(三)机器学习笔记之Scikit Learn的线性回归模型初探
一.Scikit Learn中使用estimator三部曲 1. 构造estimator 2. 训练模型:fit 3. 利用模型进行预测:predict 二.模型评价 模型训练好后,度量模型拟合效果的 ...
- (原创)(四)机器学习笔记之Scikit Learn的Logistic回归初探
目录 5.3 使用LogisticRegressionCV进行正则化的 Logistic Regression 参数调优 一.Scikit Learn中有关logistics回归函数的介绍 1. 交叉 ...
- Scikit Learn
Scikit Learn Scikit-Learn简称sklearn,基于 Python 语言的,简单高效的数据挖掘和数据分析工具,建立在 NumPy,SciPy 和 matplotlib 上.
- Python第三方库(模块)"scikit learn"以及其他库的安装
scikit-learn是一个用于机器学习的 Python 模块. 其主页:http://scikit-learn.org/stable/. GitHub地址: https://github.com/ ...
- ubuontu16.04安装Opencv库引发的find_package()错误信息处理及其简单使用
在安装完Opencv库之后,打算测试一下Opencv库是否成功安装.下面是用的例子对应的.cpp代码以及对应的CMakeLists.txt代码: .cpp文件: #include <stdio. ...
- Ubuntu 16.04 安装PCL库以及测试
参考链接:https://blog.csdn.net/dantengc/article/details/78446600 参考博客,官网一直安装不成功,后来参照一篇博客终于安装成功了,记录如下. 1. ...
随机推荐
- 第10讲-Java集合框架
第10讲 Java集合框架 1.知识点 1.1.课程回顾 1.2.本章重点 1.2.1 List 1.2.2 Set 1.2.3 Map 2.具体内容 2.1.Java集合框架 2.1.1 为什么需要 ...
- Ubuntu hadoop配置之修改主机名
1.查看主机名的方法 方法1: 在终端输入hostname 方法2: 提示符 liuhongyang@ubuntu:~$ liuhongyang:用户名 ubuntu: 主机名 ~: ...
- Could not calculate build plan :lugin org.apache.maven.plugins:maven-resources-plugin:2.6 or one of
eclipse中新建maven项目,出现 Could not calculate build plan :lugin org.apache.maven.plugins:maven-resources- ...
- android Action中的data属性
(2) 根据Action和Data匹配 <activity android:name=".MyActivityTwo" android:label="@string ...
- Android数据列表展示之 RecylerView
一.概述 1.RecyclerView是什么? RecyclerView是一种新的视图组,目标是为任何基于适配器的视图提供相似的渲染方式.该控件用于在有限的窗口中展示大量数据集,它被作为ListVie ...
- Web之-----弹出确认框控件应用
引用文件!-------- <link rel="stylesheet" type="text/css" href="@Url.FrontUrl ...
- [翻译] ASP.NET Core 3.0 的新增功能
ASP.NET Core 3.0 的新增功能 全文翻译自微软官方文档英文版 What's new in ASP.NET Core 3.0 本文重点介绍了 ASP.NET Core 3.0 中最重要的更 ...
- java数据结构——递归(Recursion)例题持续更新中
继续学习数据结构递归,什么是递归呢?字面理解就是先递出去,然后回归,递归核心思想就是直接或间接调用本身,好比从前有座山,山里有位老和尚,在给小和尚讲故事,讲的是从前有座山,山里有位老和尚,在给小和尚讲 ...
- 深度汉化GCompris-qt,免费的幼儿识字软件
1 需求 因为有个小孩上幼儿园了,想开始教他一些汉语拼音和基本的汉字,但通过一书本和卡片又有些枯燥乏味,于上就上网搜索一些辅助认字的应用,还购买了悟空识字APP,在用的过程中发现他设置了很严格的关卡, ...
- Spring boot 官网学习笔记 - Spring Boot CLI 入门案例
安装CLI https://repo.spring.io/release/org/springframework/boot/spring-boot-cli/2.1.1.RELEASE/spring-b ...