【机器学习与深度学习理论要点】11.什么是L1、L2正则化？

机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作 L1-norm 和L2-norm，中文称作 L1正则化 和 L2正则化，或者 L1范数 和 L2范数。L1正则化和L2正则化可以看做是损失函数的惩罚项，所谓"惩罚"是指对损失函数中的某些参数做一些限制。范数的表达式为：

∣

∣

x

∣

∣

p

=

(

∑

∣

x

i

∣

p

)

1

p

||x||_p=(\sum|x_i|^p)^{\frac{1}{p}}

∣∣x∣∣p​=(∑∣xi​∣p)p1​
当p=1时，是L1范数，其表示某个向量中所有元素绝对值的和

当p=2时，是L2范数， 表示某个向量中所有元素平方和再开根， 也就是欧几里得距离公式

正则化通过降低模型的复杂性，达到避免过拟合的问题，原因是：

（1）加入正则能抑制系数过大的问题。

（2）从贝叶斯的角度来分析，正则化是为模型参数估计增加一个先验知识，先验知识会引导损失函数最小值过程朝着约束方向迭代。