理解机器为什么可以学习（四）---VC Dimension

前面一节我们通过引入增长函数的上限的上限，一个多项式，来把Ein 和 Eout 的差Bound住，这一节引入VC Bound进一步说明这个问题。

前边我们得到，如果一个hypethesis集是有break point的，那么最终mh会被一个多项式bound住，如果break point 为k的话，那么这个多项式为N^(k - 1)。

Bound的不等式这里系统的列一下就是：

也就是说，机器可以学习的即可条件：

要有好的假设集，也就是需要存在break point

训练数据集要足够的大

要有一点儿好运气，选到了一个小的Ein。

好了，接下来正式介绍VC Dimension

1. VC Dimension

VC Dimension是能够shatter的最大的N，也就是最小的break point - 1

那么，之前讨论过break point的几种hypethesis对应的VC Dimension就对应为：

2. VC Dimension 应用到perception learning

好了，有了VC Dimension，那么我们就可以从VC Dimension的角度来来看看我们之前的PLA，可以分为两条主线：

那么，接下来扩展到具有超过两个特征的PLA。

那么，猜想perception的VC Dimension是不是就是 d + 1 呢？实际上就是的，怎么证明呢？当然就是从dvc >= d + 1 和 dvc <= d + 1 两个方面来证明。

一方面，欲证 dvc >= d + 1，只需要找到某个训练集大小为d + 1，可以内shatter即可：

假设这些输入数据为：

其中第一列为加进去的常数项，可以X是一个可逆矩阵

得证。

另一方面，欲证dvc <= d +１，就需要证明对所有的大小为d + 2的数据都不能shatter

特别地，对于 2 perception，输入数据如下边所示，可以得到x4 = x1 + x2 - x3，那么两边同时乘以wt可知：

最后如果y4是负就不可以得到，也就是不能够shatter。

一般化，

X列为n + 1，行为d + 2，所以第d + 2一定可以被前边的d + 1行线性表示。

两边同乘w，然后右边取值与线性系数一样，这样导致右边都为正，

所以y(d + 2)为负不能够取得，也就是对所有的大小的d + 2的都不能shatter。

3. Degree of Freedom

dvc 约等于 free parameters

所以VC Bound透露的信息：

上图就更好的说明了 VC Dimension 在某种程度上代表了模型复杂度。

上图举例列举了我们需要达到某个指标时候的数据，首先理论上这些数据似乎是非常大的，

但由于我们在推导VC Bound的时候，多次进行了上界扩张，所以实际上并不需要这么大，只需要十倍的dvc就可以了。

至此，通过理解机器为什么可以学习系列文章讲清楚了这个问题。

但是之前的讨论都是基于没有误差的，接下来讨论有误差的时候是怎么一种情况。http://www.cnblogs.com/futurehau/p/6262754.html