[数学建模]主成分分析法PCA

最常用的线性降维方法，通过某种线性投影，将高维的数据映射到低维的空间中，并期望在所投影的维度上数据的信息量最大（方差最大），以此使用较少的数据维度，同时保留住较多的原数据点的特性。
Q1:为何选取方差最大的数据维度?
方差大,不同数据的差异就大,表明这个维度的可区分信息量大.
Q2:PCA降维后,数据还是否为原始数据?
不是了,数据已经被映射到新的坐标系
推导:


就是以前用最小二乘法拟合数据时做的事情,最小二乘法求出来的直线（二维）的方向就是u1的方向.u2方向就是跟u1垂直的方向.
太复杂了改天再看原理

步骤如下
1去除平均值
2计算协方差矩阵
3计算协方差矩阵的特征值和特征向量
4将特征值排序
5保留前N个最大的特征值对应的特征向量
6将原始特征转换到上面得到的N个特征向量构建的新空间中（最后两步，实现了特征压缩）

我们一般用SPSS进行主成分分析,步骤见链接:
http://flvb5.cn/E4E6b

也可以用python做,代码如下:

#↓topNfeat是你想取的数据维度数
def pca(dataMat,topNfeat=999999):
    meanVals=np.mean(dataMat,axis=0) #求dataMat各列均值
    meanRemoved=dataMat-meanVals #减去原始数据中的均值，避免协方差计算中出现乘以0的情况
    #↓covMat:协方差矩阵
    covMat=np.cov(meanRemoved,rowvar=0) #rowvar=0-->以列代表一个变量，计算各列之间的协方差
    eigVals,eigVects=np.linalg.eig(np.mat(covMat)) #协方差矩阵的特征值和特征向量
    eigValInd=np.argsort(eigVals)
    eigValInd=eigValInd[:-(topNfeat+1):-1] #对升序排序结果从后往前取topNfeat个值
    redEigVects=eigVects[:,eigValInd] #取选定特征值对应的特征向量，从而转换原始数据
    lowDemData=meanRemoved*redEigVects #将原始数据转换到新空间
    reconMat=(lowDemData*redEigVects.T)+meanVals #降维后的数据集
    return lowDemData,reconMat

效果是这样的:

那么topNfeat该怎么选择呢?也就是说我们通常怎么保留维数呢?
降到3维时,还能保持包含90%以上的信息了.具体保留多少还得看具体要求.

这一篇讲得很易懂:
白话PCA