线性判别分析 LDA

点到判决面的距离

点\(x_0\)到决策面\(g(x)= w^Tx+w_0\)的距离：\(r={g(x)\over \|w\|}\)

广义线性判别函数

因任何非线性函数都可以通过级数展开转化为多项式函数（逼近），所以任何非线性判别函数都可以转化为广义线性判别函数。

Fisher LDA(线性判别分析)

Fisher准则的基本原理

找到一个最合适的投影轴，使两类样本在该轴上投影之间的距离尽可能远，而每一类样本的投影尽可能紧凑，从而使两类分类效果为最佳。

分类：将 d 维分类问题转化为一维分类问题后，只需要确定一个阈值点，将投影点与阈值点比较，就可以做出决策。

未知样本x的投影点 \(y= w ^{* T} x\).

Fisher方法实现步骤总结

1. 计算各类样本均值向量:
   \[
   m_i={1\over N_i}\sum_{X\in w_i}X,\quad i=1,2
   \]

2. 计算样本类内离散度矩阵\(S_i\)和总类内离散度矩阵\(S_w\).
   (w ithin scatter matrix)
   \[
   S_i=\sum_{X\in w_i}(X-m_i)(X-m_i)^T,\quad i=1,2 \\
   S_w=S_1+S_2
   \]

3. 计算样本类间离散度矩阵\(S_b=(m_1-m_2)(m_1-m_2)^T\).
   (b etween scatter matrix)

4. 求向量\(w^*\).定义Fisher准则函数：
   \[
   J_F(w)={w^TS_bw\over w^TS_ww}
   \]
   \(J_F\)取最大值时\(w^*=S_w^{-1}(m_1-m_2)\)
   Fisher准则函数推导:投影之后点\(y= w ^{T} x\),y对应的离散度矩阵为\(\tilde S_w,\tilde S_b\),则用以评价投影方向w的函数为\(J_F(w)={\tilde S_b\over \tilde S_w}={w^TS_b\ w\over w^TS_w\ w}\)

5. 将训练集内所有样本进行投影：\(y=(w^*)^TX\)

6. 计算在投影空间上的分割阈值，较常用的一种方式为：
   \[
   y_0={N_1\widetilde {m_1}+N_2\widetilde{m_2}\over N_1+N_2}
   \]

7. 对于给定的测试X，计算它在\(w^*\)上的投影点\(y=(w^*)^TX\)。

8. 根据决策规则分类，有：
   \[
   \begin{cases}
   y>y_0 \Rightarrow X\in w_1 \\
   y<y_0 \Rightarrow X\in w_2
   \end{cases}
   \]
   ​