ubuntu之路——day7.2 regularization

所有的正则化方法来自于吴恩达老师的免费公开课：https://mooc.study.163.com/learn/2001281003?tid=2001391036#/learn/content?type=detail&id=2001701045

1.矩阵L2正则化(Frobenius范数)，有时也称其为“权重衰减” 其本质是通过乘一个小于1的范数，使得w在每次迭代后逐渐变小，因此激活函数的范围也靠近0，所以从激活函数的图像来看，基本就是tanh的中间类似于直线的区段，使得神经网络每一层中的线性成分增多，减少过拟合。

2.dropout正则化，反向随机失活（Inverted Dropout） 本质是通过类似抛硬币的方式(可以设置正反的概率)随机的舍去一些节点，从而精简网络。

3.数据扩增（Data Augmentation） 类似于把一张图片水平翻转，或者随机截取一些原图片的内容然后标准化，或者对原图片进行扭曲等等，使得训练集变大。

4.提早停止（Early stopping）优点：相对于L2不用尝试大量参数 缺点：单纯的找到了一个验证集方差小的参数，但是同时又限定了训练集不能继续迭代，无法找到最优的bias。