SVM小白教程（1）：目标函数

关于 SVM（支持向量机），网上教程实在太多了，但真正能把内容讲清楚的少之又少。这段时间在网上看到一个老外的 svm 教程，几乎是我看过的所有教程中最好的。这里打算通过几篇文章，把我对教程的理解记录成中文。另外，上面这篇教程的作者提供了一本免费的电子书，内容跟他的博客是一致的，为了方便读者，我把它上传到自己的博客中。

这篇文章主要想讲清楚 SVM 的目标函数，而关于一些数学上的优化问题，则放在之后的文章。

什么是 SVM

SVM 的全称是 Support Vector Machine，中文名支持向量机。

关于 SVM 是什么这个问题，知乎上有一篇通俗易懂的文章，说到底，SVM 的提出主要是为了解决二分类的问题。下面会从最简单的数学入手，一步步揭开 SVM 的面纱。

超平面

什么是超平面

在正式开讲之前，需要先讲一下超平面（hyperplane）的概念，这是 SVM 中一个相当重要的概念。

在初中的时候，我们就知道 \(ax+b-y=0\) 表示的是一条直线。在机器学习里面，为了方便用向量的形式来表示，我们一般用 \(x_1\) 来代替 \(x\)，\(x_2\) 来代替 \(y\)，这样，直线就表示成了 \(\mathbf{w}^T\mathbf{x}+b=0\)，其中 \(\mathbf{w}=\begin{bmatrix} a & -1 \end{bmatrix}^T\)，\(\mathbf{x}=\begin{bmatrix} x_1 & x_2 \end{bmatrix}^T\)。

如果我们把目光投到三维：\(ax_1+bx_2+cx_3+d=0\)，那么原来的直线就变成了一个平面。如果继续将维度升高到四维、五维。。。这时，平面就变成了高维空间的超平面。机器学习中的问题基本都是在高维空间处理的。

不过，由于超平面没法用画图表示，因此本文会使用二维的例子来介绍。

如果你看了上面知乎那篇文章，你就会知道，SVM 正是借助这个超平面来划分数据的。

关于这个超平面，我们要知道三点：

超平面也是由一系列点组成的。在线性代数中通常将点称为向量。如果点 \(\mathbf{x}\) 在超平面上，则满足 \(\mathbf{w}^T\mathbf{x}+b=0\)。由于这个超平面把数据分为两类，因此这些点又被称为支持向量。
假设超平面两侧各有一点 \(\mathbf{x_1}\) 和 \(\mathbf{x_2}\)，则满足 \(\mathbf{w}^T\mathbf{x_1}+b>0\)，\(\mathbf{w}^T\mathbf{x_2}+b<0\)。在二维中这一点很明显。
\(\mathbf{w}\) 与超平面垂直。这一点是根据超平面的定义得来的，可以参看这个数学讲义。当然，如果实在无法理解，可以令 \(b=0\)，这样超平面就变成 \(\mathbf{w}^T\mathbf{x}=0\)，两向量内积为 0，证明 \(\mathbf{w} \perp \mathbf{x}\)。在 SVM 中，正样本的标签通常记为 1，负样本记为 -1。因此，为了保持符号上的一致性，规定 \(\mathbf{w}\) 的方向指向正样本的一侧。这样，如果 \(\mathbf{x_1}\) 是一个正样本，那么 \(\mathbf{w}^T\mathbf{x_1}+b>0\)，否则 \(\mathbf{w}^T\mathbf{x_1}+b<0\)。

间距 margin

间距是 SVM 中另一个核心概念。间距指的就是点和超平面之间的距离。当样本点很多时，我们取样本点和超平面之间的最小距离作为间距。

SVM 的目标

SVM 的目的其实就是找一个区分数据最合适的超平面，超平面一侧是正样本，另一侧是负样本。我们应该能隐约感觉到：最合适的平面就在正负样本「最中间」的位置。换句话说，就是找一个间距最大的超平面。这样找到的超平面也将在正负样本的最中间，因为如果超平面离任何样本太近，间距都会变小，因此为了保证间距最大，就必须与所有正负样本都足够的远。

如何找到最合适的超平面

假设下图中的 A～G 表示样本点，橙色线是超平面，两条蓝线表示与超平面平行的面，它们划定了超平面的间距（注意右侧的蓝线穿过了离超平面最近的 A、B 两点）。

虽然这个超平面能把正负样本点分开，但显然不是最优的超平面，因为我们可以找到一个新的超平面，使间距更大（由 \(\frac{M_1}{2}\) 扩大到 \(\frac{M_2}{2}\)）。

到这里，我们可以发现，超平面是否合适，跟间距大小息息相关。因此，寻找最优的超平面，就等价于找到最大的间距。

寻找最大间距

下面就来讨论一下怎么找到最大的间距。

假设我们有一个样本集 \(D=\{(\mathbf{x_i},y_i)\ \big |\ \mathbf{x_i} \in R^p, y_i \in \{-1,1\}\}\)，\(y_i\) 表示样本标签，正样本取 1，负样本取 -1。

为了计算超平面 \(\mathbf{w}^T\mathbf{x}+b=0\) 的间距，我们可以仿照上图中的蓝线，引入两个超平面： \(\mathbf{w}^T\mathbf{x}+b=\delta\) 和 \(\mathbf{w}^T\mathbf{x}+b=-\delta\)（\(\delta\) 取正数）。注意，这两个超平面之间不能有任何数据点。因此，他们要满足一个限制条件：对于正样本（\(y_i=1\)）而言，\(\mathbf{w}^T\mathbf{x}+b\ge \delta\)，对于负样本（\(y_i=-1\)），\(\mathbf{w}^T\mathbf{x}+b\le -\delta\)。这样一来，求原超平面的间距就转换为求这两个超平面之间的距离。利用标签的正负号，我们可以把两个超平面的限制条件统一为：
\[
y_i(\mathbf{w}^T\mathbf{x_i}+b) \ge \delta \tag{1}
\]
接下来要考虑如何计算这两个超平面之间的距离。

在高中阶段，我们就学过如何计算两条平行直线之间的距离，这里完全可以把二维的公式拓展到高维。不过，这里我们还是从向量的角度出发，看看如何计算两个超平面之间的距离。

假设这两个超平面分别为 \(H_0: \mathbf{w}^T\mathbf{x}+b=-\delta\) 和 \(H_1: \mathbf{w}^T\mathbf{x}+b=\delta\)，\(x_0\) 是 \(H_0\) 上一点，两个平面之间的距离是 \(m\)。

为了计算 \(m\)，需要找一个跟 \(m\) 相关的表达式。假设 \(H_1\) 上有一点 \(x_1\)，使得向量 \(\overline {x_0x_1} \perp H_1\)，则 \(\mathbf{x_1}=\mathbf{x_0}+\overline {x_0x_1}\)。想要求 \(\overline {x_0x_1}\)，我们需要确定它的方向和长度。在之前介绍超平面时，我们已经知道，\(\mathbf{w} \perp H_1\)，所以这个向量的方向应该和 \(\mathbf{w}\) 相同，而它的长度就是我们要求的 \(m\)，所以 \(\overline {x_0x_1}=m\frac{\mathbf{w}}{||\mathbf{w}||}\)，既而 \(\mathbf{x_1}=\mathbf{x_0}+m\frac{\mathbf{w}}{||\mathbf{w}||}\)。

现在把 \(\mathbf{x_1}\) 代入 \(H_1 (\mathbf{w}^T\mathbf{x}+b=\delta)\) 中：
\[
\begin{align}
\mathbf{w}^T\mathbf{x_1}+b=&\mathbf{w}^T(\mathbf{x_0}+m\frac{\mathbf{w}}{||\mathbf{w}||})+b \notag \\
=&\mathbf{w}^T\mathbf{x_0}+m\frac{\mathbf{w}^T\mathbf{w}}{||\mathbf{w}||}+b \tag{2} \\
=&\delta \notag
\end{align}
\]
由于 \(\mathbf{x_0}\) 是 \(H_0\) 上一点，所以 \(\mathbf{w}^T\mathbf{x_0}+b=-\delta\)，代入（2）式：
\[
\begin{align}
\mathbf{w}^T\mathbf{x_1}+b=&-\delta+m\frac{\mathbf{w}^T\mathbf{w}}{||\mathbf{w}||} \notag \\
=&-\delta + m||\mathbf{w}|| \notag \\
=&\delta \notag
\end{align}
\]
这样我们就得到 \(m\) 的表达式：
\[
m=\frac{2\delta}{||\mathbf{w}||} \tag{3}
\]
考虑到 \(\delta\) 是一个正数，因此，要使 \(m\) 最大，就必须让 \(||\mathbf{w}||\) 最小。再考虑到两个超平面的限制条件（1），我们就可以得到如下 SVM 的目标函数。

目标函数

综合考虑 (2) (3)，我们得到 SVM 最终的目标函数：
\[
\underset{(\mathbf{w},b)}{\operatorname{min}} ||\mathbf{w}|| \ \ \ \ \operatorname{s.t.} \ y_i(\mathbf{w}^T\mathbf{x_i}+b) \ge \delta, \ \ i=1,...,m
\]
找出使这个函数最小的 \(\mathbf{w}\) 和 \(b\)，就找到了最合适的超平面。注意，由于我们有 \(m\) 个样本，所以总共有 \(m\) 个限制条件。

参考