PCV 学习笔记-ch1 主成分分析实现

模块名称：pca.py

PCA原理与紧致技巧原理待补。。。

#-*-coding:UTF-8-*-
'''
Created on 2015年3月2日
@author: Ayumi Phoenix

ch01 p-14 图像的主成分分析
'''

from PIL import Image
import numpy

def pca(X):
    """主成分分析：
    输入；矩阵X 每一行为一条训练数据
    返回：投影矩阵（按照维度重要性排序），方差，和均值"""
    X = numpy.asarray(X)
    n_data,dim = X.shape # axis_0, axis_1

    mean_X = X.mean(axis=0)
    X -= mean_X

    if n_data < dim:
        # 维数大于样本数,使用紧致技巧
        R_sigma = numpy.dot(X,X.T) # m x m
        eign_values, eign_vectors = numpy.linalg.eigh(R_sigma) # 返回H矩阵或对称阵的特征值和特征向量(递增顺序)
        tmp = numpy.dot(X.T,eign_vectors) # (n2,m) x (m,m)
        V = tmp[::-1] # 矩阵V每行向量都是正交的
        S = numpy.sqrt(eign_values)
        for i in xrange(V.shape[1]):
            V[:,i] /= S
    else:
        # PCA - SVD
        U,S,V = numpy.linalg.svd(X)
        V = V[:n_data] # 仅仅返回前n_data维数据才合理

    # 返回投影向量矩阵， 特征值开方, 均值
    return V, S, mean_X    

if __name__=="__main__":
    from PIL import Image
    import numpy
    import pylab
    import imtools as imt

    path = r"E:\dataset lib\PCV_data\fontimages\a_thumbs"
    imlist = imt.get_imlist(path)
    im = numpy.array(Image.open(imlist[0]))
    m,n = im.shape[0:2]
    n_im = len(imlist)

    im_matrix = numpy.array([numpy.array(Image.open(each_im)).flatten()
                             for each_im in imlist],'f')

    V,S,im_mean = pca(im_matrix)
    # 显示均值图像与前七个特征图
    pylab.figure()
    pylab.gray()
    pylab.subplot(2,4,1)
    pylab.imshow(im_mean.reshape(m,n))
    for i in xrange(7):
        pylab.subplot(2,4,i+2)
        pylab.imshow(V[i].reshape(m,n))

    # 从新投影为新样本
    k = 10
    print im_matrix.shape,V.shape
    # 取V前k个特征向量
    y = numpy.dot(im_matrix,V[0:k,:].T) # (m,n2) * ((k,n2).T) = [m,k]
    print y.shape
    # 显示还原图像
    im_matrix_tidle = numpy.dot(y,V[0:k,:]) + im_mean
    pylab.figure()
    pylab.gray()
    for i in xrange(8):
        pylab.subplot(2,4,i+1)
        pylab.imshow(im_matrix_tidle[i].reshape(m,n))

    pylab.show()

    # 保存均值和主成分数据
    import pickle
    f = open('font_pca_models.pkl','wb')
    pickle.dump(im_mean, f)
    pickle.dump(V, f)
    f.close()

    # 载入均值和主成分数据
    import pickle
    f = open('font_pca_models.pkl','rb')
    im_mean = f.load(f) # 载入对象顺序必须和保存顺序一样
    V = f.load(f)
    f.close()

均值图片与前7个特征向量：

前7张图片降维后的还原图像