pca算法实现

pca基础知识不了解的可以先看下一这篇博客：https://www.cnblogs.com/lliuye/p/9156763.html

具体算法实现如下：

 import numpy as np
 import matplotlib.pyplot as plt
 # 载入数据
 data = np.genfromtxt("data.csv", delimiter=",")
 x_data = data[:,]
 y_data = data[:,]
 plt.scatter(x_data,y_data)
 plt.show()
 print(x_data.shape)
 # 数据中心化
 def zeroMean(dataMat):
     # 按列求平均，即各个特征的平均
     meanVal = np.mean(dataMat, axis=)
     newData = dataMat - meanVal
     return newData, meanVal
 newData,meanVal=zeroMean(data)
 print(newData.shape)
 # np.cov用于求协方差矩阵，参数rowvar=0说明数据一行代表一个样本,若非0，说明传入的数据一列代表一个样本。
 covMat = np.cov(newData, rowvar=)#因为是行作为样本，所以列作为特征，得到的协方差是2*
 # 协方差矩阵
 print(covMat)
 # np.linalg.eig求矩阵的特征值和特征向量
 eigVals, eigVects = np.linalg.eig(np.mat(covMat))
 # 特征值
 print(eigVals)
 # 特征向量
 print(eigVects.shape)
 # 对特征值从小到大排序
 eigValIndice = np.argsort(eigVals)
 eigValIndice
 top =
 # 最大的n个特征值的下标
 n_eigValIndice = eigValIndice[-:-(top+):-]
 print(n_eigValIndice)
 # 最大的n个特征值对应的特征向量
 n_eigVect = eigVects[:,n_eigValIndice]
 print(n_eigVect.shape)
 # 低维特征空间的数据
 lowDDataMat = newData*n_eigVect#原始数据投射到选取的特征向量上
 print(lowDDataMat.shape)#低纬数据
 # 利用低纬度数据来重构数据
 reconMat = (lowDDataMat*n_eigVect.T) + meanVal#降维的逆操作
 reconMat
 # 载入数据
 data = np.genfromtxt("data.csv", delimiter=",")
 x_data = data[:,]
 y_data = data[:,]
 plt.scatter(x_data,y_data)

 # 重构的数据
 x_data = np.array(reconMat)[:,]
 y_data = np.array(reconMat)[:,]
 plt.scatter(x_data,y_data,c='r')
 plt.show()

 plt.show()

关于np.cov的用法详细如下：

1. np.cov(x)

 

x=[1,2,3,4]
np.cov(x)12

输出为 array(1.6666666666666665)，一开始我以为当x为一个行向量时，cov(x)计算的就是x的方差。但是通过观察发现

 

np.var(x)*4     #output:5
np.cov(x)*3     #output:512

np.cov(x)这种情况计算的是x方差的无偏估计，即s2=∑ni=1(x−x^)n−1s2=∑i=1n(x−x^)n−1，而np.var(x)计算的则是s2=∑ni=1(x−x^)ns2=∑i=1n(x−x^)n

接着我们再假设x为一个4*3的矩阵

 

X=np.array([[1 ,5 ,6] ,[4 ,3 ,9 ],[ 4 ,2 ,9],[ 4 ,7 ,2]])
np.cov(x)12

首先不同于matlab。在numpy中，将x的每一列视作一个独立的变量，因此这里一共有4个3维的变量，因此将会输出一个4*4的协方差矩阵
 
其中对角线元素是每个维度的方差，非对角线上的元素则是不同维度间的协方差。

2. np.cov(x,y)

在学习的过程中还有一点比较困惑的是np.cov(x)和np.cov(x,y)的区别，以下用代码来进行说明：

 

X=np.array([[1 ,5 ,6] ,[4 ,3 ,9 ],[ 4 ,2 ,9],[ 4 ,7 ,2]])
x=X[0:2]
y=X[2:4]
print(np.cov(X))
print(np.cov(x,y))12345

输出为
 
可以看出两者的输出是相同的。因此所谓的np.cov(X)其实就是把np.cov(x,y)中两个变量所有的维度纵向拼接在一起作为X参与运算。