【机器学习基石笔记】七、vc Dimension

vc demension定义：

breakPoint - 1

N > vc dimension， 任意的N个，就不能任意划分

N <= vc dimension，存在N个，可以任意划分

只要vc dimension是finite，那么H就比较好。

Perceptron Learning Algo

多维度也行么？vc dimension是多少么？d维的， Dvc = d + 1

要证明！

Dvc >= d+1， 存在d+1个点，可以被shatter。

原点，加上每个分量为1， 加上常数项，矩阵可逆， 是否有w使得 sign(wx) = y,只要wx = y, x可逆，所以w存在。

Dvc <= d+1，任意d+2个点，不能被shatter。

多了一行，线性相关，有一个点是其他点的线性组合，假设可以shatter, ox均可以，但是如果每个都同号，最后一个一定>0，所以不能shatter。

vc dimension和自由度差不多。

Eout <= Ein + blahblah

blahblah就是模型复杂度， = Omega(N, H, delta)

随着vc dimension的增长，

Ein不断变小，model complexity不断增大，Eout一般先减小再增大。

一般来讲，N = 10倍的vc dimension就够用了，理论的vc bound简直太宽松了！