PCA 学习笔记
先简单记下,等有时间再整理
PCA 主要思想,把 协方差矩阵 对角化,协方差矩阵是实对称的。
里面涉及到矩阵论的一点基础知识:
基变换:
Base2 = P · Base1
相应的 坐标变换
P · coordinate2 = coordinate1
将 X 转换到 Y,Y = P · X , X是原来的基,Y是新的基,P是过渡矩阵。
后面可以用 实对称阵的相似对角化来处理。
D = Y · Y^T = P(1/m·X·X^T)P^T
讲的有点乱
直接上代码 和图吧。
# -*- coding=utf-8 -*- import numpy as np
import pandas as pd
import matplotlib.pyplot as plt '''
PCA is similar diagnalization Covariance Matrix
''' X = pd.read_csv('testSet.txt',header=None,delimiter='\t').as_matrix()
# print(X) # 1.0centralization
# print(X.mean(axis=0)) [9.0639,9.096]
X_cen = X - X.mean(axis=0)
# 2.0 covariance matrix
cov_X = np.dot(X_cen.T,X_cen) / X_cen.shape[0]
# 3.0 get eigVector which is p A = pXX^Tp^T
# Y = p
eigVal,eigVector = np.linalg.eig(cov_X)
P = eigVector[:,::-1]
# P[:,-1] = np.array([0,0])
# Y = np.dot(P,(X_cen.T)).T
print(P)
P = np.linalg.inv(P)
'''
[-0.52045195 -0.85389096]
[-0.85389096 0.52045195]]
''' cor = np.linspace(-2,2,1000)
plt.plot(X_cen[:,0],X_cen[:,1],'.b')
plt.plot(cor,cor*P[0,1]/P[0,0],'-r')
# plt.plot(Y[:,0],Y[:,1],'.r')
plt.show()
参考:
https://www.cnblogs.com/mikewolf2002/p/3429711.html
PCA 学习笔记的更多相关文章
- PCA学习笔记
主成分分析(Principal Component Analysis,简称PCA)是最常用过的一种降维方法 在引入PCA之前先提到了如何使用一个超平面对所有的样本进行恰当的表达? 即若存在这样的超平面 ...
- 数据降维PCA——学习笔记
PCA主成分分析 无监督学习 使方差(数据离散量)最大,更易于分类. 可以对隐私数据PCA,数据加密. 基变换 投影->内积 基变换 正交的基,两个向量垂直(内积为0,线性无关) 先将基化成各维 ...
- 机器学习13—PCA学习笔记
主成分分析PCA 机器学习实战之PCA test13.py #-*- coding:utf-8 import sys sys.path.append("pca.py") impo ...
- LDA PCA 学习笔记
提要: 本文主要介绍了和推导了LDA和PCA,参考了这篇博客 LDA LDA的原理是,将带上标签的数据(点),通过投影的方法,投影到维度更低的空间中,使得投影后的点,会形成按类别区分,一簇一簇的情况, ...
- 机器学习实战(Machine Learning in Action)学习笔记————09.利用PCA简化数据
机器学习实战(Machine Learning in Action)学习笔记————09.利用PCA简化数据 关键字:PCA.主成分分析.降维作者:米仓山下时间:2018-11-15机器学习实战(Ma ...
- Deep Learning(深度学习)学习笔记整理系列之(五)
Deep Learning(深度学习)学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者:Zouxy version 1.0 2013-04 ...
- Deep Learning(深度学习)学习笔记整理系列之(四)
Deep Learning(深度学习)学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者:Zouxy version 1.0 2013-04 ...
- Deep Learning深入研究整理学习笔记五
Deep Learning(深度学习)学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者:Zouxy version 1.0 2013-04 ...
- cips2016+学习笔记︱简述常见的语言表示模型(词嵌入、句表示、篇章表示)
在cips2016出来之前,笔者也总结过种类繁多,类似词向量的内容,自然语言处理︱简述四大类文本分析中的"词向量"(文本词特征提取)事实证明,笔者当时所写的基本跟CIPS2016一 ...
随机推荐
- Java中的三元运算:a = (a > b)?a:b
格式:逻辑值 ? 表达式1 : 表达式2 执行顺序:先执行逻辑值,如果逻辑值为true,则执行表达式1:反之则执行表达式2 a = (a > b)?a:b 如果a>b成立,返回a: 如果a ...
- Android软键盘弹出将底部栏顶上去并不会挤压界面
界面需要,找到了一种不需要去设置android:windowSoftInputMode属性的解决keyboard和layout不适问题 有关设置android:windowSoftInputMode的 ...
- Angular2 如何使用jquery
网上找了很多版本尝试都不行,最后在stackoverflow上找到一个,尝试完美解决 具体操作步骤如下 1. 安装jquery npm install jquery 2.安装 type for jqu ...
- StringsUtil字符串工具类---灵活截取
package com.js.ai.modules.pointwall.interfac; import javax.print.attribute.standard.MediaName; publi ...
- Firefox显示 您的链接不安全 的解决办法
Firefox浏览器,今天突然打开网页的时候提醒,“您的链接不安全”,于是网页怎么刷新都打不开.后来几经查询终于解决,下面告诉大家该如何解决这种情况. 百度经验:jingyan.baidu.com 工 ...
- MySQL5.5安装与多实例
MySQL5.5编译安装 #1.2 cmake软件 cd /home/oldboy/tools/ tar xf cmake-2.8.8.tar.gz cd cmake-2.8.8 ./configur ...
- C++Primer笔记-----day06
================================================================day06=============================== ...
- python中heapq堆的讲解
堆的定义: 堆是一种特殊的数据结构,它的通常的表示是它的根结点的值最大或者是最小. python中heapq的使用 列出一些常见的用法: heap = []#建立一个常见的堆 heappush(hea ...
- plsql中的光标
操作oracle数据库效率最高的语言就是plsql程序,故而把访问数据库的代码写成plsql的执行效率要高于java,c ,c++等代码
- Setup Apache2 in Debian 9 and enable two ports for two sites
root@debian:~# apt-get install apache2 root@debian:~# cd /etc/apache2/ root@debian:/etc/apache2# ls ...