LibSVM学习（四）——逐步深入LibSVM 转

原文：http://blog.csdn.net/flydreamgg/article/details/4470121

其实，在之前上海交大模式分析与机器智能实验室对2.6版本的svm.cpp做了部分注解，（在哪里？google一下你就知道）。但是，这个注释只是针对代码而注释，整篇看下来，你会发现除了理解几个参数的含义，还是会对libsvm一头雾水。当然作为理解程序的辅助材料，还是有很大用处的。特别是，对几个结构体的说明，比较清楚。但是要清楚程序具体做了什么，还是要追踪程序中去。

由于svm涉及的数学知识比较多，我们这篇只是讲一些基本的思路，所以就从最基本的C-SVC型svm，核函数采用常用的RBF函数。LibSVM就采用2.6版本的好了，因为后续的版本作者又加了很多内容，不易理解作者最初的思路。我是做模式识别，主要从分类的角度来解析函数的调用过程，我们从svmtrain.c看起，其调用的函数过程如下：

上图是整个C-SVC的计算过程，下面对一些重要的内容进行具体说明:

1. svm_group_class

在2.6版中没有此函数的，其功能直接在svm_train实现，为了增强可读性，2.89版中设置了这个函数，其实所作的工作都是一样的。需要说明的是其重新排列后perm中只存储的是各个样本在原始位置的序号，而非数据。这样做的好处有两个：

1）不必破坏原始数据（也就是读进来的x的数据）；

2）检索起来方便，只需要L维的数据检索，得到序号后，然后定位到原始数据中相应的位置就可以。

perm是中各类的排列顺序是按照原始样本中各类出现的先后顺序排列的，不一定是按照你原始样本的label序号排列，假如原始样本的label是{-1，0，1}，而最先出现的label为1的样本，那么perm中就把label为1的作为类0最先排列。而start中记录的是各类的起始序号，而这个序号是在perm中的序号。

2. 多类判别的one-against-one

svm做判别是用的分界线(面)，两类之间只有一个分界线(面)，因此分类器也只有1种，要么是1类要么是2类。但是对于多类，分类方式就有多种。目前，存在的方法主要有：

1）1-V-R方式

对于k类问题，把其中某一类的n个训练样本视为一类，所有其他类别归为另一类，因此共有k个分类器。最后预测时，判别式使用竞争方式，也就是哪个类得票多就属于那个类。

2）1-V-1方式

也就是我们所说的one-against-one方式。这种方法把其中的任意两类构造一个分类器，共有(k-1)×k/2个分类器。最后预测也采用竞争方式。

3）有向无环图（DAG-SVM）

该方法在训练阶段采用1-V-1方式，而判别阶段采用一种两向有向无环图的方式。

LibSVM采用的是1-V-1方式，因为这种方式思路简单，并且许多实践证实效果比1-V-R方式要好。

上图是一个5类1-V-1组合的示意图，红色是0类和其他类的组合，紫色是1类和剩余类的组合，绿色是2类与右端两类的组合，蓝色只有3和4的组合。因此，对于nr_class个类的组合方式为：

for(i = 0; i < nr_class; i ++)

{

for(j = i+1; i < nr_class; j ++)

{ 类 i –V – 类 j }

}

3. hessian矩阵的内存处理

因为svm是基于结构风险最小的，因此在分类识别方式具有较传统的基于经验风险最小的方式有优势。但是svm也有一个致命的缺陷，因为要计算hessian矩阵Q_ij所耗的内存巨大，不利于实践中应用。目前，怎么减小内存的使用依旧是SVM的研究的课题。LibSVM对hessian矩阵处理的策略是定义了一个内存处理类Cache类，预先认为分配一定的内存，存储计算好的Q_ij，其序号的检索采用双向链表的方式，加快了检索速度。其最重要的函数为：

int Cache::get_data(const int index, Qfloat **data, int len)

//len 是 data 的长度，data为返回的内存首地址，index为Q_ij的行。

每次都要查找链表中行为index的Q_i，假如已经计算过了，就返回计算过的内存地址，并把储存首地址的链表节点插入到链表尾部。假如没计算过，就分配内存并进行计算，当剩余的内存不够时，就要回收链表头指向的内存。这里，可能有人会问，难道以前计算的就没有用了吗？？其实，是因为Q_ij是稀疏矩阵，在训练过程中只要其对应的alpha[i]不再变动（这时alpha[i]=0或者alpha[i]=C），其对应的Q_i就不会被选到来训练，因此原来计算的Q_i就没有用了。其实，链表的顺序代表了别选到的频率，最头部的是最不可能被选到，因为这时alpha[i]=0或者alpha[i]=C，而最尾部的最容易被选到。

4. 数据选择select_working_set(i,j)

对于样本数量比较多的时候（几千个），SVM所需要的内存是计算机所不能承受的。目前，对于这个问题的解决方法主要有两种：块算法和分解算法。这里，libSVM采用的是分解算法中的SMO(串行最小化)方法，其每次训练都只选择两个样本。我们不对SMO做具体的讨论，要想深入了解可以查阅相关的资料，这里只谈谈和程序有关的知识。

一般SVM的对偶问题为：

S.t.                                                                                                         （4.1）

SVM收敛的充分必要条件是KKT条件，其表现为：

（4.2）

由4.1式求导可得：

（4.3）

进一步推导可知：

（4.4）

也就是说，只要所有的样本都满足4.4式，那么得到解就是最优值。因此，在每轮训练中，每次只要选择两个样本(序号为i和j)，是最违反KKT条件（也就是4.4式）的样本，就能保证其他样本也满足KKT条件。序号i和j的选择方式如下：

（4.5）

5. 停止准则

LibSVM程序中，停止准则蕴含在了函数select_working_set(i,j)返回值中。也就是，当找不到符合4.5式的样本时，那么理论上就达到了最优解。但是，实际编程时，由于KKT条件还是蛮苛刻的，要进行适当的放松。令：

（4.6）

由4.4式可知，当所有样本都满足KKT条件时，g_i ≤ -g_j

加一个适当的宽松范围ε，也就是程序中的eps，默认为0.001，那么最终的停止准则为：

g_i ≤ -g_j +ε  →    g_i + g_j ≤ε                                    （4.7）

6. 因子α的更新

由于SMO每次都只选择2个样本，那么4.1式的等式约束可以转化为直线约束：

（4.8）

转化为图形表示为：

把4.8式中α₁由α₂ 表示，即：，结合上图由解析几何可得α₂的取值范围：

（4.9）

经过一系列变换，可以得到的α₂更新值α₂^new：

（4.10）

结合4.9和4.10式得到α₂^new最终表达式：

（4.11）

得到α₂^new后，就可以由4.8式求α₁^new。

这里，具体操作的时候，把选择后的序号i和j代替这里的1和2就可以了。当然，编程时，这些公式还是太抽象。对于4.9式，还需要具体细分。比如，对于y₁ y₂ = -1时的L = max(0,α₂ - α₁)，是0大还α₂ - α₁是大的问题。总共需要分8种情况。

7. 数据缩放do_shrinking()

上面说到SVM用到的内存巨大，另一个缺陷就是计算速度，因为数据大了，计算量也就大，很显然计算速度就会下降。因此，一个好的方式就是在计算过程中逐步去掉不参与计算的数据。因为，实践证明，在训练过程中，alpha[i]一旦达到边界（alpha[i]=0或者alpha[i]=C），alpha[i]值就不会变，随着训练的进行，参与运算的样本会越来越少，SVM最终结果的支持向量（0<alpha[i]<C）往往占很少部分。

LibSVM采用的策略是在计算过程中，检测active_size中的alpha[i]值，如果alpha[i]到了边界，那么就应该把相应的样本去掉（变成inactived），并放到栈的尾部，从而逐步缩小active_size的大小。

8. 截距b的计算

b计算的基本公式为：

（4.12）

理论上，b的值是不定的。当程序达到最优后，只要用任意一个标准支持向量机（0<alpha[i]<C）的样本带入4.12式，得到的b值都是可以的。目前，求b的方法也有很多种。在libSVM中，分别对y=+1和y=-1的两类所有支持向量求b，然后取平均值：

（4.13）

至此，libSVM的整个思路我们简单的过了一遍，里面涉及到很到理论知识，许多细节需要查看相关的SVM的书籍。说实话，笔者也是新手，有些理论也没弄很清楚，我只能把我知道的尽量的讲出来。希望对一些想要了解SVM的有所帮助。