主成分分析(PCA)与线性判别分析(LDA)

主成分分析

• 线性、非监督、全局的降维算法

PCA最大方差理论

• 出发点：在信号处理领域，信号具有较大方差，噪声具有较小方差

• 目标：最大化投影方差，让数据在主投影方向上方差最大

• PCA的求解方法：

  • 对样本数据进行中心化处理

  • 求样本协方差矩阵

  • 对协方差矩阵进行特征分解，将特征值从大到小排列

  • 取特征值前d大对应的特征向量\(w_1, w_2, \cdots, w_d\),通过以下变换将n维样本映射到d维

    \[x^{'}_i = \begin{bmatrix} w_1^{T}x_i \\ w_2^Tx_i \\ \cdots \\ w_d^Tx_i \end{bmatrix}\]

    新的\(x^{'}_i\) 的第d维就是\(x_i\)在第d个主成分\(w_d\)方向上的投影

• 局限性：

  • 线性降维
  • 通过核映射对PCA进行扩展得到核主成分分析（KPCA）

PCA最小平方误差理论

• 出发目标：找到一个d维超平面，使得数据点到这个超平面的距离平方和最小

• 优化目标：

  \[\begin{aligned} \mathop{\arg\min}_{w_1, \dots, w_d} \sum \limits_{k=1}^{n}||x_k - \tilde{x}_k||_2 \\ s.t. \quad w_i^Tw_j = \begin{cases} 1, i = j \\ 0, i \neq j \end{cases} \end{aligned}\]

  \(\tilde{x}_k\)是投影向量

线性判别分析

二分类

• 监督降维方法（LDA）

• PCA算法没有考虑到数据标签，可能会导致映射后无法进行分类

• 中心思想：最大化类间距离和最小化类内距离

• 对于二分类

  • 类间散度矩阵：\(S_B = (\mu_1 - \mu_2)(\mu_1 - \mu_2)^T\)

  • 类内散度矩阵：\(S_w = \sum \limits_{x \in C_i}(x - \mu_i)(x - \mu_i)^T\)

  • 优化目标：

    \[J(w) = \frac{w^T S_B w}{w^T S_w w} = \lambda\]

  • \(S_w^{-1}S_Bw = \lambda w\) \(J(w)\)对应了矩阵\(S_w^{-1}S_B\)最大的特征值，而投影方向就是这个特征值对应的特征向量

• 对数据分布做了强假设：每个类数据都是高斯分布、各个类的协方差相等

• 优点：线性模型对噪声的鲁棒性比较好

• 缺点：模型简单也有假设，可以通过引入核函数处理分布较复杂的数据

具有多个类别标签的高维数据LDA方法

• 计算数据集每个类别的均值\(\mu_j\) 和总体均值\(\mu\)

• 计算类内散度矩阵\(S_w\) ,全局散度矩阵\(S_t\) ,并得到类间散度矩阵\(S_B = S_t - S_w\)

• 对\(S_w^{-1}S_B\)矩阵进行特征值分解，将特征值从大到小排列

• 取特征值前d大对应的特征向量\(w_1, w_2, \cdots, w_d\),通过以下变换将n维样本映射到d维

  \[x^{'}_i = \begin{bmatrix} w_1^{T}x_i \\ w_2^Tx_i \\ \cdots \\ w_d^Tx_i \end{bmatrix}\]

  新的\(x^{'}_i\) 的第d维就是\(x_i\)在第d个主成分\(w_d\)方向上的投影

PCA和LDA的区别与联系

• 联系：求解过程很类似

• 区别：

  • 数学原理
  • 优化目标
  • 应用场景：对无监督任务使用PCA降维，对有监督则使用LDA。
    • 从音频中提取语音信号，用PCA过滤掉噪声
    • 声纹识别，用LDA使每个人的声音信号具有区分性