SVM (support vector machine)

简单原理流程转自：http://wenku.baidu.com/link?url=57aywD0Q6WTnl7XKbIHuEwWENnSuPS32QO8X0a0gHpOOzdnNt_K0mK2cucVaEHVSAjHvBCvQNZGhe_TEgWoDeVoWNBATyAa0bc5eDZQweEm

详细原理和实验1：PMTK ToolBox和实验2：LibSVM转自：http://blog.163.com/huai_jing@126/blog/static/171861983201171410833824/

matlab使用：http://wenku.baidu.com/link?url=LUhL9dE1zi2R5VQMIHCicN2bAxcCea_f7wjrek73PkUkfpLKEYRx8hOlG45zgYYgMkcKh92FW1l-6LecvpjjzsBJDVsPFME38frt8rtj-H7

1.matlab自带的有svmtrain,svmclassify。其中svmtrain理解：http://blog.sina.com.cn/s/blog_48e6733501016dhl.html

　　svmtrain理解：Training是一个M行N列的矩阵，M是样本数，N是特征维数。Group：是个列向量，表示样本对应的类别，用字符串表示（可以用数字或单个字符）。举例：svmStruct = svmtrain(sd,Y,'Kernel_Function','quadratic', 'showplot',true);

　　　　其中Kernel_FunctionValue 有如下些可选类别：

• • 　　linear — Default. Linear kernel or dot product.
  • 　　quadratic — Quadratic kernel.
  • 　　rbf — Gaussian Radial Basis Function kernel with a default scaling factor, sigma, of 1.
  • 　　polynomial — Polynomial kernel with a default order of 3.
  • 　　mlp — Multilayer Perceptron kernel with default scale and bias parameters of [1, -1].
  • 　　fuction

圆圈代表 支撑的向量

svmclassify函数的举例RD=svmclassify(svmStruct,sd,'showplot',true);

2.libsvm中举例：

model = svmtrain( allcoor_label, allcoor,'-c 1 -g 0.007 -t 0');
[ptrain_label, train_accuracy] = svmpredict( allcoor_label, allcoor, model);

其中options涵义如下:

-s svm类型：设置SVM 类型，默认值为0，可选类型有：

0 -- C- SVC

1 -- nu - SVC

2 -- one-class-SVM

3 -- e - SVR

4 -- nu-SVR

-t 核函数类型：设置核函数类型，默认值为2，可选类型有：

0 -- 线性核：u'*v

1 -- 多项式核：(g*u'*v+ coef0)degree

2 -- RBF 核:exp(-||u-v||*||u-v||/g*g)

3 -- sigmoid 核：tanh(g*u'*v+ coef 0)

-d degree：核函数中的degree设置，默认值为3；

-g r(gama)：核函数中的函数设置(默认1/ k);

-r coef 0：设置核函数中的coef0，默认值为0；

-c cost：设置C- SVC、e - SVR、n - SVR中从惩罚系数C，默认值为1；

-n nu ：设置nu - SVC、one-class-SVM 与nu - SVR 中参数nu ，默认值0.5；

-p e ：核宽,设置e - SVR的损失函数中的e ，默认值为0.1；

-m cachesize：设置cache内存大小，以MB为单位(默认40)：

-e e ：设置终止准则中的可容忍偏差，默认值为0.001；

-h shrinking：是否使用启发式，可选值为0 或1，默认值为1；

-b 概率估计：是否计算SVC或SVR的概率估计，可选值0 或1，默认0；

-wi weight：对各类样本的惩罚系数C加权，默认值为1；

-v n：n折交叉验证模式。

附: MATLAB自带的svm实现函数与libsvm差别小议：
1 MATLAB自带的svm实现函数仅有的模型是C-SVC(C-support vector classification)； 而libsvm工具箱有C-SVC(C-support vector classification),nu-SVC(nu-support vector classification),one-class SVM(distribution estimation),epsilon-SVR(epsilon-support vector regression),nu-SVR(nu-support vector regression)等多种模型可供使用。
2 MATLAB自带的svm实现函数仅支持分类问题，不支持回归问题；而libsvm不仅支持分类问题，亦支持回归问题。
3 MATLAB自带的svm实现函数仅支持二分类问题，多分类问题需按照多分类的相应算法编程实现；而libsvm采用1v1算法支持多分类。
4 MATLAB自带的svm实现函数采用RBF核函数时无法调节核函数的参数gamma，貌似仅能用默认的；而libsvm可以进行该参数的调节。
5 libsvm中的二次规划问题的解决算法是SMO；而MATLAB自带的svm实现函数中二次规划问题的解法有三种可以选择：经典二次方法；SMO；最小二乘。（这个是我目前发现的MATLAB自带的svm实现函数唯一的优点~）

摘自：http://www.ilovematlab.cn/thread-85860-1-1.html