LibLinear（SVM包）使用说明之（三）实践

LibLinear（SVM包）使用说明之（三）实践

LibLinear（SVM包）使用说明之（三）实践

zouxy09@qq.com

http://blog.csdn.net/zouxy09

我们在UFLDL的教程中，Exercise: Convolution and Pooling这一章节，已经得到了cnnPooledFeatures.mat特征。在该练习中，我们使用的是softmax分类器来分类的。在这里我们修改为用SVM来替代softmax分类器。SVM由Liblinear软件包来提供。这里是四分类问题，所以Liblinear会根据我们传入的训练样本训练四个二分类器，以实现四分类。以前由softmax分类器得到的准确率是80.406%。在这里换成Liblinear后，准确率变为80.75%。在这里差别不是很大。

在本文的例子中，我们增加了scale和Cross Validation，Cross Validation是用来选择一个最好的参数C的（不知道自己这两个步骤有没有正确，如有错误，还望大家提醒，谢谢）。

具体的代码如下：

1. %// Classification by LibLinear
2. %// LibLinear: http://www.csie.ntu.edu.tw/~cjlin/liblinear/
3. %// Author : zouxy
4. %// Date   : 2013-9-2
5. %// HomePage : http://blog.csdn.net/zouxy09
6. %// Email  : zouxy09@qq.com
7. clear; clc;
8. %%% step1: load data
9. fprintf(1,'step1: Load data...\n');
10. % pooledFeaturesTrain大小为400*2000*3*3
11. % pooledFeaturesTest大小为400*3200*3*3
12. % 第一维是特征个数，也就是特征图个数，第二维是样本个数，第三维是特征图的宽，
13. % 第四维是特征图的高
14. load cnnPooledFeatures.mat;
15. load stlTrainSubset.mat % loads numTrainImages, trainImages, trainLabels
16. load stlTestSubset.mat  % loads numTestImages,  testImages,  testLabels
17. % B = permute(A,order) 按照向量order指定的顺序重排A的各维
18. train_X = permute(pooledFeaturesTrain, [1 3 4 2]);
19. % 将每个样本的特征拉成一个列向量，每个样本一个列，矩阵大小为3600*2000
20. train_X = reshape(train_X, numel(pooledFeaturesTrain) / numTrainImages, numTrainImages);
21. train_Y = trainLabels; % 2000*1
22. test_X = permute(pooledFeaturesTest, [1 3 4 2]);
23. test_X = reshape(test_X, numel(pooledFeaturesTest) / numTestImages, numTestImages);
24. test_Y = testLabels;
25. % release some memory
26. clear trainImages testImages pooledFeaturesTrain pooledFeaturesTest;
27. %%% step2: scale the data
28. fprintf(1,'step2: Scale data...\n');
29. % Using the same scaling factors for training and testing sets,
30. % we obtain much better accuracy. Note: scale each attribute(feature), not sample
31. % scale to [0 1]
32. % when a is a vector, b = (a - min(a)) .* (upper - lower) ./ (max(a)-min(a)) + lower
33. lower = 0;
34. upper = 1.0;
35. train_X = train_X';
36. X_max = max(train_X);
37. X_min = min(train_X);
38. train_X = (train_X - repmat(X_min, size(train_X, 1), 1)) .* (upper - lower) ...
39. ./ repmat((X_max - X_min), size(train_X, 1), 1) + lower;
40. test_X = test_X';
41. test_X = (test_X - repmat(X_min, size(test_X, 1), 1)) .* (upper - lower) ...
42. ./ repmat((X_max - X_min), size(test_X, 1), 1) + lower;
43. % Note: before scale the accuracy is 80.4688%, after scale it turns to 80.1875%,
44. % and took more time. So is that my scale operation wrong or other reasons?
45. % After adding bias, Accuracy = 80.75% (2584/3200)
46. %%% step3: Cross Validation for choosing parameter
47. fprintf(1,'step3: Cross Validation for choosing parameter c...\n');
48. % the larger c is, more time should be costed
49. c = [2^-6 2^-5 2^-4 2^-3 2^-2 2^-1 2^0 2^1 2^2 2^3];
50. max_acc = 0;
51. tic;
52. for i = 1 : size(c, 2)
53. option = ['-B 1 -c ' num2str(c(i)) ' -v 5 -q'];
54. fprintf(1,'Stage: %d/%d: c = %d, ', i, size(c, 2), c(i));
55. accuracy = train(train_Y, sparse(train_X), option);
56. if accuracy > max_acc
57. max_acc = accuracy;
58. best_c = i;
59. end
60. end
61. fprintf(1,'The best c is c = %d.\n', c(best_c));
62. toc;
63. %%% step4: train the model
64. fprintf(1,'step4: Training...\n');
65. tic;
66. option = ['-c ' num2str(c(best_c)) ' -B 1 -e 0.001'];
67. model = train(train_Y, sparse(train_X), option);
68. toc;
69. %%% step5: test the model
70. fprintf(1,'step5: Testing...\n');
71. tic;
72. [predict_label, accuracy, dec_values] = predict(test_Y, sparse(test_X), model);
73. toc;