【机器学习】支持向量机（SVM）的优化算法——序列最小优化算法（SMO）概述

SMO算法是一一种启发式算法，它的基本思路是如果所有变量的解的条件都满足最优化问题的KKT条件，那么这个最优化问题的解就得到了。因为KKT条件是该优化问题的充分必要条件。

整个SMO算法包括两个部分：

1）求解两个便令的二次归化的解析方法

2）选择变量的启发式方法。

SMO算法的特点是不断地讲原二次规划问题分解为只有两个变量的二次规划子问题。并对子问题进行解析求解，直到所有变量满足KKT条件为止。这样通过启发式的方法得到原二次规划问题的最优解。因为子问题有解析解，所以每次求解子问题的解的速度都很快，尽管计算子问题次数很多，但总体是高效的。

关于序列最小优化算法的详细实现和讨论可以参考链接：

参考链接