SVM（支持向量机）的一点理解

最近有被问到SVM的问题，不懂装懂，羞愧不已。百度有很多深入浅出介绍SVM的文章，我就不赘述了，这里写一点自己肤浅的理解。

SVM的核心思想是把求解低维空间上的高维分类器转化为求解高维函数空间上的线性分类器。为了达到这一目的，SVM引入了三大法宝。

第一是支持向量。支持向量相当于样本数据的典型代表（或者临界样本），分类器只依赖于支持向量，简化了其复杂度。

第二是核函数。SVM通过核函数把低维空间上的样本数据的关系转化为高维函数空间的内积关系。把数据从低维空间向高维函数映射，实际上增加了模型的复杂度。如何在庞大而未知的函数空间寻找合适的核函数？答案是通过函数空间上的基函数组合去逼近理想的核函数，从而简化问题的复杂度。

第三是松弛因子。这是为了减小噪声的影响，给出稳定的分类器。这也是优化问题的常见做法。

Marvelous！