《机器学习实战（基于scikit-learn和TensorFlow）》第五章内容学习心得

本章在讲支持向量机(Support Vector Machine)。

支持向量机，一个功能强大的机器学习模型，能够执行线性或非线性数据的分类、回归甚至异常值检测的任务。它适用于中小型数据集的分类。

• 线性SVM分类

线性SVM分类大体分为两类，一种叫硬间隔分类，另一种叫软间隔分类。两者间的区别在于是否一定要把数据全部正确分类。

SVM分类器的目标可以等价视作为在类别之间拟合最宽的街道的工作。而确定街道的数据点就是分类器的支持向量。

SVM对特征的缩放很敏感，因此是否进行特征缩放对于SVM最终的决策边界的形状会产生很大影响。

在SVM的软间隔分类中，由于我们允许分类产生个别错误，因此就有一个超参数可以控制错误的程度，就是C。C值越小，间隔越大，间隔中的违例越多；C值越大，间隔越小，违例越少。同时C也可以对过拟合化的SVM分类器产生类似正则化的影响。

• 非线性SVM分类

　很多数据集都是线性不可分的，我们需要进行一些操作使得数据线性可分。

　有一个假设我们认为线性不可分的数据在高维空间上可以变得线性可分。因此，我们可以通过增加数据维度来达到一种可分的情况，即添加特征或使用核方法。

• SVM回归

　SVM是支持回归任务的。SVM回归的任务就是尽可能让实例在街道内部，街道的宽度由超参数ε控制。