sklearn pca降维

PCA降维

一.原理

这篇文章总结的不错PCA的数学原理。

PCA主成分分析是将原始数据以线性形式映射到维度互不相关的子空间。主要就是寻找方差最大的不相关维度。数据的最大方差给出了数据的最重要信息。

二.优缺点

优：将高维数据映射到低维，降低数据的复杂性，识别最重要的多个特征

不足：不一定需要，且可能损失有用信息

适用数值型数据

三.步骤

1.原始数据X，对于每列属性，去平均值（也可以对数值进行标准分化）

2.计算样本点的协方差矩阵（列间两两计算相关性）

3.求出协方差矩阵的特征值和对应的特征向量

4.从大到小排序特征值，取得最前的k个特征向量P

5.将数据转换到k个特征向量构建的新空间中，Y=P^tX

四.python代码

 #!/usr/bin/python
 # -*- coding: utf-8 -*-

 import numpy as np
 from sklearn.decomposition import PCA
 from matplotlib import pyplot as plt

 class PCA_DimensionalityReduction:

     def __init__(self):
         # 随机产生数据沿y=2x分布，
         self.x = np.arange(1, 101, 1).astype(float)
         self.y = 2 * np.arange(1, 101, 1).astype(float)

     def dataProduction(self):
         #添加服从正太分布的噪音数据normal(均值，标准差，个数)
         noise=np.random.normal(0,10,100)
         self.y+=noise
         #定义绘图
         self.fig=plt.figure(figsize=(10,10))
         #红色的小圆点在坐标平面上画一个点
         plt.plot(self.x,self.y,'ro')
         #坐标范围axis[xmin,xmax,ymin,ymax]
         plt.axis([0,102,-20,220])
         #箭头
         plt.quiver(60, 100, 10 - 0, 20 - 0, scale_units='xy', scale=1)
         plt.arrow(60, 100, 10 - 0, 20 - 0, head_width=2.5, head_length=2.5, fc='k', ec='k')
         #图中的任意位置添加文字
         plt.text(70,110,r'$v^1$',fontsize=20)

         #保存
         # 添加子图，返回Axes实例，参数：子图总行数，子图总列数，子图位置
         ax=self.fig.add_subplot(111)
         ax.axis([0,102,-20,220])
         ax.set_xlabel('x',fontsize=40)
         ax.set_ylabel('y',fontsize=40)
         self.fig.suptitle('2 dimensional',fontsize=40)
         self.fig.savefig('pca_data.png')

     '''
     PCA算法
     总结一下PCA的算法步骤：
     设有m条n维数据。
     1）将原始数据按列组成n行m列矩阵X
     2）将X的每一行（代表一个属性字段）进行零均值化，即减去这一行的均值
     3）求出协方差矩阵C=(1/m)X(X)^T
     4）求出协方差矩阵的特征值及对应的特征向量
     5）将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P
     6）Y=PX
     即为降维到k维后的数据
     '''
     #使用np.linalg.eig计算特征值和特征向量
     def dr_pca(self):
         #每列属性的均值
         mean_x=np.mean(self.x)
         mean_y=np.mean(self.y)
         #这里对数据标准分化
         mean_vector=np.array([[mean_x],[mean_y]])
         self.u_x=(self.x-mean_x)/np.std(self.x)#除标准差
         self.u_y=(self.y-mean_y)/np.std(self.y)
         #协方差矩阵
         sigma=np.cov([self.u_x,self.u_y])
         #从协方差矩阵中求出特征值和特征向量，选择特征值最大的对应的特征向量
         eig_vals,eig_vecs=np.linalg.eig(sigma)
         eig_pairs=[(np.abs(eig_vals[i]),eig_vecs[:,i]) for i in range(len(eig_vals))]
         eig_pairs.sort()
         eig_pairs.reverse()
         v1=eig_pairs[0][1]#取出一个最大特征值对应的特征向量
         print('v1,shape:',(v1,v1.shape))
         #映射到由k个特征向量组成的子空间特征向量(主成分)
         X=np.array([self.u_x,self.u_y])
         #X=X.T
         print('X shape:',X.shape)
         main_vector=v1.T.dot(X)
         print('main_vector:',main_vector.T)

         #w=np.array(v1.reshape(2,1))
         #main_vector=w.T.dot(X)
         #print('w:',w.shape)
         #print("main_vector2:",main_vector)

     #使用sklearn中的pca
     def sklearn_pca(self):
         X=np.array([self.u_x,self.u_y])
         X=X.T
         pca=PCA(n_components=1) #指定主成分数量

         #pca.fig(X)#训练pca模型
         #v1 = pca.components_[0]  # 得到特征向量
         #print('v1:', v1)

         main_vector=pca.fit_transform(X)#用X来训练PCA模型，同时返回降维后的结果数据。
         print('sklearn:',main_vector)

 if __name__=='__main__':
     pca=PCA_DimensionalityReduction()
     pca.dataProduction()
     pca.dr_pca()
     pca.sklearn_pca()

参考:1.CRC.Machine.Learning.An.Algorithmic.Perspective.2nd.Edition.

　　 2.machine learning for the web

　　 3.machine learning in action