libsvm使用说明

http://www.hankcs.com/ml/libsvm-usage.html

libsvm使用说明

码农场 > 机器学习 2016-02-18 阅读(345) 评论(0) 

目录

 

• libsvm简介
• libsvm编译安装
• 数据集
• 获取数据集
• 数据集格式
• svm_scale用法
• 未标准化的例子
• 标准化方法
• svm_scale参数
• svm_toy用法
• svm_train用法
• 参数
• 调参
• 用法
• 可视化
• svm_predict用法
• Reference

本文记录了libsvm的使用方法、参数说明、数据格式、模型格式，并且对数据标准化和自动寻参等，做了整理。对libsvm的Java代码，整理成了Maven结构，注释了主要接口。本来准备完整地将libsvm源码剖析一遍的，后来太忙顾不上了，连这篇libsvm使用说明也差点烂在草稿箱里，想想还是先发出来吧。

libsvm简介

LIBSVM 是台湾大学林智仁(Lin Chih-Jen)副教授等开发设计的一个简单、易于使用和快速有效的 SVM 模式识别与回归的软件包，他不但提供了编译好的可在 Windows 系列系统的执行文件，还提供了源代码，方便改进、修改以及在其它操作系统上应用； 该软件还有一个特点，就是对 SVM 所涉及的参数调节相对比较少，提供了很多的默认参数，利用这些默认参数就可以解决很多问题；并且提供了交互检验(Cross-SVM回归等问题，包括基于一对一算法的多类模式识别问题。SVM 用于模式识别或回归时， SVM方法及其参数、核函数及其参数的选择，目前国际上还没有形成一个统一的模式， 也就是说最优 SVM 算法参数选择还只能是凭借经验、实验对比、大范围的搜寻或者利用软件包提供的交互检验功能进行寻优的功能。该软件包可以在http://www.csie.ntu.edu.tw/~cjlin/免费获得。

——简介摘录自《LIBSVM使用方法.pdf》

libsvm编译安装

以Java版为例，下载libsvm-3.20.zip后，从java目录中得到全部源码，其他不以.java结尾的都是无关的文件。新建Maven项目，或者直接clone我的Maven repository，项目结构如图：

数据集

获取数据集

libsvm-3.20.zip中附带了一个heart_scale数据集，其主页上也提供了很多数据集，我整理了三个作为例子：

数据集格式

libsvm每行使用的格式如下：

<label> <index1>:<value1> <index2>:<value2> …

• label为类别标号，index为特征序号，value为特征的值

• value为0时该项可以省略（大规模数据时节省存储空间）

比如dataset/iris.scale.txt：

1. 1 1:-0.555556 2:0.5 3:-0.694915 4:-0.75
2. 3 1:-0.166667 2:-0.333333 3:0.38983 4:0.916667
3. 2 1:-0.333333 2:-0.75 3:0.0169491 4:-4.03573e-08
4. 1 1:-0.833333 3:-0.864407 4:-0.916667
5. 1 1:-0.611111 2:0.0833333 3:-0.864407 4:-0.916667
6. 3 1:0.611111 2:0.333333 3:0.728813 4:1
7. 3 1:0.222222 3:0.38983 4:0.583333
8. 2 1:0.222222 2:-0.333333 3:0.220339 4:0.166667
9. 2 1:-0.222222 2:-0.333333 3:0.186441 4:-4.03573e-08
10. ...

这是（UCI / Iris Plant, 4 features, 3 classes）提供的数据集，一共4个特征，3种类：

1. 1. sepal length in cm
2. 2. sepal width in cm
3. 3. petal length in cm
4. 4. petal width in cm
5. 5. class:
6. -- Iris Setosa
7. -- Iris Versicolour
8. -- Iris Virginica

分别描述了3种鸢尾花。

svm_scale用法

scale是缩放的意思，这里应该引申为数据标准化，也就是将所有数据缩放到一个标准的区间内。

未标准化的例子

先看看未标准化的一个数据集dataset/diabetes.txt：

1. -1  1:6.000000 2:148.000000 3:72.000000 4:35.000000 5:0.000000 6:33.599998 7:0.627000 8:50.000000
2. +1  1:1.000000 2:85.000000 3:66.000000 4:29.000000 5:0.000000 6:26.600000 7:0.351000 8:31.000000
3. -1  1:8.000000 2:183.000000 3:64.000000 4:0.000000 5:0.000000 6:23.299999 7:0.672000 8:32.000000
4. +1  1:1.000000 2:89.000000 3:66.000000 4:23.000000 5:94.000000 6:28.100000 7:0.167000 8:21.000000
5. -1  1:0.000000 2:137.000000 3:40.000000 4:35.000000 5:168.000000 6:43.099998 7:2.288000 8:33.000000
6. +1  1:5.000000 2:116.000000 3:74.000000 4:0.000000 5:0.000000 6:25.600000 7:0.201000 8:30.000000
7. -1  1:3.000000 2:78.000000 3:50.000000 4:32.000000 5:88.000000 6:31.000000 7:0.248000 8:26.000000
8. +1  1:10.000000 2:115.000000 3:0.000000 4:0.000000 5:0.000000 6:35.299999 7:0.134000 8:29.000000
9. -1  1:2.000000 2:197.000000 3:70.000000 4:45.000000 5:543.000000 6:30.500000 7:0.158000 8:53.000000
10. -1  1:8.000000 2:125.000000 3:96.000000 4:0.000000 5:0.000000 6:0.000000 7:0.232000 8:54.000000

这是关于Pima Indians罹患糖尿病的数据，一共有8个特征，2个类别。

标准化方法

libsvm采用的是极值标准化方法Min-max 标准化：

min-max标准化方法是对原始数据进行线性变换。设minA和maxA分别为属性A的最小值和最大值，将A的一个原始值x通过min-max标准化映射成在区间[0,1]中的值x'，其公式为：

新数据=（原数据-极小值）/（极大值-极小值）

svm_scale参数

格式

svm-scale [options] filename

options:

• 上下界（默认[-1,1]）：-l lower -u upper

• 存储标准化尺度：-s scalefile

• 加载标准化尺度：-r scalefile

• 标签的标准化（用于回归）：-y lower upper

这里的标准化尺度其实就是指的某个数据的min和max。

使用提醒

• 训练集和测试集一起scale，将所有数据缩放到[lower, upper]

• 新来的测试样本，应该使用训练时候的标准化尺度进行标准化

示例

1. svm-scale -s diabetes.scale.txt -l 1 -u 10 -y 0 1 dataset/diabetes.txt

得到标准化尺度文件diabetes.scale.txt：

1. y
2. 0.000000000000000 1.000000000000000
3. -1.000000000000000 1.000000000000000
4. x
5. 1.000000000000000 10.00000000000000
6. 1 0.000000000000000 17.00000000000000
7. 2 0.000000000000000 199.0000000000000
8. 3 0.000000000000000 122.0000000000000
9. 4 0.000000000000000 99.00000000000000
10. 5 0.000000000000000 846.0000000000000
11. 6 0.000000000000000 67.09999800000000
12. 7 0.07800000000000000 2.420000000000000
13. 8 21.00000000000000 81.00000000000000

由上到下分别代表y和x_i缩放时指定的参数，以及数据的min和max。

同时stdout输出缩放后的数据：

1. 0.0 1:4.1764705882352935 2:7.693467336683417 3:6.311475409836065 4:4.181818181818182 5:1.0 6:5.506706274417475 7:3.109735269000854 8:5.35
2. 1.0 1:1.5294117647058822 2:4.844221105527638 3:5.868852459016393 4:3.6363636363636362 5:1.0 6:4.567809346283438 7:2.0491033304867634 8:2.5
3. 0.0 1:5.235294117647059 2:9.27638190954774 3:5.721311475409836 4:1.0 5:1.0 6:4.12518624814266 7:3.2826643894107606 8:2.65
4. 1.0 1:1.5294117647058822 2:5.025125628140704 3:5.868852459016393 4:3.090909090909091 5:2.0 6:4.769001602652805 7:1.3420153714773697 8:1.0
5. 0.0 1:1.0 2:7.1959798994974875 3:3.9508196721311477 4:4.181818181818182 5:2.7872340425531914 6:6.780923898090132 7:9.492741246797609 8:2.8
6. 1.0 1:3.6470588235294117 2:6.2462311557788945 3:6.459016393442623 4:1.0 5:1.0 6:4.433681175370527 7:1.47267292912041 8:2.35
7. 0.0 1:2.5882352941176467 2:4.527638190954773 3:4.688524590163935 4:3.909090909090909 5:1.9361702127659575 6:5.157973298300248 7:1.6532877882152006 8:1.75
8. 1.0 1:6.294117647058823 2:6.201005025125628 3:1.0 4:1.0 5:1.0 6:5.734724299097595 7:1.215200683176772 8:2.2
9. 0.0 1:2.0588235294117645 2:9.909547738693467 3:6.163934426229508 4:5.090909090909091 5:6.776595744680851 6:5.090909212843791 7:1.3074295473953885 8:5.8
10. 0.0 1:5.235294117647059 2:6.653266331658291 3:8.081967213114755 4:1.0 5:1.0 6:1.0 7:1.591801878736123 8:5.95

svm_toy用法

svm_toy顾名思义就是一个玩具，以GUI的方式展现SVM的运行效果，编译运行后得到一个窗口：

用鼠标在上面点一些数据点出来，按下Change按钮切换类别：

然后点击run进行分类：

svm_train用法

这是训练的入口，参数有点多，不看源码基本不明白。

参数

svmtrain [options] training_set_file [model_file]

其中， options（可选参数）：可用的选项与意义如下所示

-s svm类型：设置SVM 类型，默认值为0，可选类型有（对于回归只能选3或4，这些类型详见论文）：

-t 核函数类型：设置核函数类型，默认值为2，可选类型有：

0 — 线性核：u'*v

1 — 多项式核： (g*u'*v+ coef 0)degree

2 — RBF 核：e( u v 2) g –

3 — sigmoid 核：tanh(g*u'*v+ coef 0)

-d degree：核函数中的degree设置，默认值为3；

-g g ：设置核函数中的g ，默认值为1/ k ；

-r coef 0：设置核函数中的coef 0，默认值为0；

-c cost：设置C- SVC、e – SVR、n – SVR中从惩罚系数C，默认值为1；

-n n ：设置n – SVC、one-class-SVM 与n – SVR 中参数n ，默认值0.5；

-p e ：设置n – SVR的损失函数中的e ，默认值为0.1；

-m cachesize：设置cache内存大小，以MB为单位，默认值为40；

-e e ：设置终止准则中的可容忍偏差，默认值为0.001；

-h shrinking：是否使用启发式，可选值为0 或1，默认值为1；

-b 概率估计：是否计算SVC或SVR的概率估计，可选值0 或1，默认0；

-wi weight：对各类样本的惩罚系数C加权，默认值为1；

-v n：n折交叉验证模式。

示例

1. svm_train dataset/iris.scale.txt dataset/iris.scale.model

会得到一个模型。

1. svm_train -v 10 dataset/iris.scale.txt dataset/iris.scale.model

并不会得到任何模型，哪怕你的确指定了一个文件名，因为-v参数使训练模块进入了交叉验证模式。

调参

c和g的参数寻优是个麻烦的问题，libsvm的tools目录下提供了一个自动化的工具grid.py。

用法

参数自动寻优的训练脚本grid.py (Cross-validation and Grid-search)

§ 适用任务：分类问题& RBF核(或linear核)

§ 格式：python [options] grid.py trainingfilename

§ options

• -svmtrain pathname

• -gnuplot pathname

• -out pathname

• -png pathname

• -log2c begin,end,step

• -log2g begin,end,step

• additional same options for svm-train

示例

1. python grid.py dataset\iris.scale.txt

输出

1. [local] 5 -7 96.6667 (best c=32.0, g=0.0078125, rate=96.6667)
2. [local] -1 -7 92.6667 (best c=32.0, g=0.0078125, rate=96.6667)
3. [local] 5 -1 95.3333 (best c=32.0, g=0.0078125, rate=96.6667)
4. [local] -1 -1 96.0 (best c=32.0, g=0.0078125, rate=96.6667)
5. [local] 11 -7 97.3333 (best c=2048.0, g=0.0078125, rate=97.3333)
6. ……
7. [local] 13 -3 94.6667 (best c=2048.0, g=0.0078125, rate=97.3333)
8. 2048.0 0.0078125 97.3333

的确是比手工一个个试要方便得多。

可视化

指定gnuplot的路径还可以得到参数寻优的图像：

1. python grid.py -svmtrain C:\libsvm\windows\svm-train.exe -gnuplot C:\gnuplot\bin\gnuplot.exe -png C:\iris.gird.png -log2c -8,8,2 -log2g 8,-8,-2 -v 10 C:\dataset\iris.scale.txt

得到：

绿线上的c和g是最佳的。

svm_predict用法

刚才训练的model现在可以拿过来用了。

格式：svm-predict [options] testfile modelfile resultfile

options

§ -b probability : -b 0只输出类别；-b 1输出各类概率

返回结果

§ 各测试样本的类别（-b 1时为各类后验概率）

§ 正确率

示例

1. svm-train –b 1 iris.train iris.model
2. svm-predict iris.test iris.model iris.result

值得注意的

§ 部分任务不支持概率输出（比如SVR, one-class SVM）

§ -b参数需要svm-train的时候建立概率模型与之对应

§ 新来的样本按照训练集标准化的尺度进行标准化

1. svm-predict –b 1 iris.test iris.model iris.result
2. svm-scale -r iris.train.scale iris.test > iris.test.scaled

比如

1. dataset/iris.scale.txt dataset/iris.scale.model dataset/iris.scale.result

输出

1. Accuracy = 97.33333333333334% (146/150) (classification)

得到dataset/iris.scale.result：

1. 1.0
2. 1.0
3. 1.0
4. 2.0
5. 2.0
6. 2.0
7. 3.0
8. 3.0
9. 3.0
10. 3.0
11. ……

Reference

http://www.cnblogs.com/candl/p/4264651.html

libsvm简易说明.pdf

http://blog.sciencenet.cn/blog-373392-503987.html