LDA线性分析推广到多分类

感谢皮果提的文章：

http://blog.csdn.net/itplus/article/details/12038441

http://blog.csdn.net/itplus/article 皮果提是个大牛！

   本来是要调研 Latent Dirichlet Allocation 的那个 LDA 的, 没想到查到很多关于 Linear Discriminant Analysis 这个 LDA 的资料。初步看了看，觉得数学味挺浓，一时引起了很大的兴趣；再看看，就有整理一份资料的冲动了。网上查到的相关文章大都写得不是很详细，而且在概念和记号等方面也比较混乱，因此，在整理本文时，我有意识地牵了一根主线，想让读者读起来有循序渐进的感觉，记号上也力求规范和统一。期间参考了若干文献，以及一些优秀的博客，如 JerryLead、LeftNotEasy、webdancer、xiaodongrush 等的博文，在这里对他们的辛勤写作和无私分享表示感谢。文中的数学推导过程写得比较细，方便有需求的读者参考。此外，文中还通过加注的形式放入了一些自己的理解。 当然由于水平有限，错误遗漏之处在所难免, 希望读者朋友可以指出，也欢迎交流。

目录

 

第 1 节  预备知识

1.1 分类问题的描述

1.2 拉格朗日乘子法

第 2 节  Two-classes 情形的数学推导

2.1 基本思想

2.2 目标函数

2.3 极值求解

2.4 阀值选取

第 3 节  推广到 Multi-classes 情形

3.1 降维问题的描述

3.2 目标函数与极值求解

3.3 降维幅度

第 4 节  其他几个相关问题