关于过拟合、局部最小值、以及Poor Generalization的思考

Poor Generalization

这可能是实际中遇到的最多问题。

比如FC网络为什么效果比CNN差那么多啊，是不是陷入局部最小值啊？是不是过拟合啊？是不是欠拟合啊？

在操场跑步的时候，又从SVM角度思考了一下，我认为Poor Generalization属于过拟合范畴。

与我的论文 [深度神经网络在面部情感分析系统中的应用与改良] 的观点一致。

SVM

ImageNet 2012上出现了一个经典虐杀场景。见[知乎专栏]

里面有一段这么说道：

当时，大多数的研究小组还都在用传统computer vision算法的时候，多伦多大学的Hinton祭出deep net这样一个大杀器。差距是这样的：

第一名Deepnet的错误率是0.16422
第二名日本东京大学的错误率是0.2617
第三名牛津大学的错误率是0.2679

 

 

 

 

 

 

 

 

除了Hinton组是用CNN之外，第二第三都是经典的SIFT+SVM的分离模型。

按照某些民科的观点，SVM是宇宙无敌的模型，结构风险最小化，全局最小值，那么为什么要绑个SIFT？

众所周知，SIFT是CV里最优良的Hand-Made特征，为什么需要这样的特征？

因为它是一种Encoding，复杂的图像经过它的Encoding之后，有一些很明显的性质（比如各种不变性）就会暴露出来。

经过Encoding的数据，分类起来是非常容易的。这也是模式识别的经典模式：先特征提取、再分类识别。

 

Question：如果用裸SVM跑ImageNet会怎么样？

My Answer：SVM的支持向量集会十分庞大。比如有10000个数据，那么就会有10000个支持向量。

 

 

 

SVM不同于NN的一个关键点就是，它的支持向量是动态的，虽然它等效于NN的隐层神经元，但是它服从结构风险最小化。

结构风险最小化会根据数据，动态算出需求最少的神经元（或者说是隐变量[Latent Variable])。

如果SVM本身很难去切分Hard数据，那么很显然支持向量会增多，因为[Train Criterion] 会认为这是明显的欠拟合。

欠拟合情况下，增加隐变量，增大VC维，是不违背结构风险最小化的。

极限最坏情况就是，对每个点，拟合一个值，这样会导致最后的VC维无比庞大，但仍然满足结构风险最小化。图示如下：

 

 

 

之所以要调大VC维，是因为数据太紧密。

如果吃不下一个数据，那么找局部距离的时候，就会总是产生错误的结果。

尽管已经很大了，但是仍然需要更大，最好是每个点各占一个维度，这样100%不会分错。

这会导致另外一个情况发生：过拟合，以及维数灾难：

 

维数灾难：

 

在Test Phase，由于参数空间十分庞大，测试数据只要与训练数据有稍微变化，很容易发生误判。

原因是训练数据在参数空间里拟合得过于离散，在做最近局部距离评估时，各个维度上，误差尺度很大。测试数据的轻微变化就能造成毁灭级误判，学习的参数毫无鲁棒性。

 

 

 

 

 

 

不过，由于现代SVM的[Train Criterion] 一般含有L2 Regularier，所以可以尽力压制拟合的敏感度。

如果L2系数大点，对于大量分错的点，会全部视为噪声扔掉，把过拟合压成欠拟合。

如果L2系数小点，对于大量分错的点，会当成宝去拟合，虽然不至于维数灾难，过拟合也会很严重。

当然，一般L2的系数都不会压得太狠，所以过拟合可能性应当大于欠拟合。

我曾经碰到一个例子，我的导师拿了科大讯飞语音引擎转化的数据来训练SVM。

Train Error很美，Test Error惨不忍睹，他当时和我说，SVM过拟合好严重，让我换个模型试试。

后来我换了CNN和FC，效果也差不多。

从Bayesian Learning观点来讲，Model本身拥有的Prior并不能摸清训练数据Distribution。

这时候，无论你是SVM还是CNN，都是回天无力的，必然造成Poor Generalization。

不是说，你搞个大数据就行了，你的大数据有多大，PB级？根本不够。

单纯的拟合来模拟智能，倒更像是是一个NPC问题，搜遍全部可能的样本就好了。

悲剧的是，世界上都没有一片树叶是完全相同的，美国的PB级树叶的图像数据库可能根本无法解决中国的树叶问题。

也不是说，你随便套个模型就了事了，更有甚者，连SVM、NN都不用，认为机器学习只要LR就行了。

“LR即可解决湾区数据问题”，不得不说，无论是传播这种思维、还是接受这种思维的人，都是时代的悲哀。

 

NN

再来看一个NN的例子，我在[深度神经网络以及Pre-Training的理解]一文的最后，用了一个神奇的表格：

[FC]

负似然函数	1.69	1.55	1.49	1.44	1.32	1.25	1.16	1.07	1.05	1.00
验证集错误率	55%	53%	52%	51%	49%	48%	49%	49%	49%	49%

[CNN]

负似然函数	1.87	1.45	1.25	1.15	1.05	0.98	0.94	0.89	0.7	0.63
验证集错误率	55%	50%	44%	43%	38%	37%	35%	34%	32%	31%

当初只是想说明：FC网络的Generalization能力真是比CNN差太多。

但现在回顾一下，其实还有有趣的地方。

I、先看FC的Epoch情况，可以看到，后期的Train Likelihood进度缓慢，甚至基本不动。

此时并不能准确判断，到底是欠拟合还是陷入到局部最小值。

但，我们有一点可以肯定，增大FC网络的规模，应该是可以让Train Likelihood变低的。

起码在这点上，应该与SVM做一个同步，就算是过拟合，也要让Train Likelihood更好看。

II、相同Train Likelihood下，CNN的Test Error要低很多。

如果将两个模型看成是等效的规模（实际上CNN的规模要比FC低很多），此时FC网络可以直接被判为过拟合的。

这点需要转换参照物的坐标系，将CNN看作是静止的，将FC网络看作是运动的，那么FC网络Test Error就呈倒退状态。

与过拟合的情况非常类似。

综合(I)(II)，个人认为，从相对运动角度，Poor Generalization也可以看作是一种过拟合。

(II)本身就很糟了，如果遇到(I)的情况，那么盲目扩张网络只会变本加厉。

这是为什么SVM过拟合非常可怕的原因，[知乎：为什么svm不会过拟合？]