Coursera台大机器学习课程笔记13 -- Regularization

这一节讲的是正则化，在优化中一直会用到正则化项，上课的时候老师一句话代过，没有作过多的解释。听完这节课后，

才明白好大学和野鸡大学的区别有多大。总之，这是很有收获的一节课。

首先介绍了为什么要正则化，简单说就是将复杂的模型用简单的模型进行表示，至于如何表示，这中间有一系列推导假设，很有创意。

第二小节深入的解释了优化中拉格朗日乘子，提出了argument error的概念。关于乘子和正则化项的关系：乘子大，正则化项小，即C小，则模型越简单。

虽然有图，但听起来仍然十分的抽象。

第三小节是关于正则化与VC理论的，更加抽象了，我没有听明白讲的是什么。。。

第四小节讲了如何设计正则化项，三个原则。

下节会讲如何选取乘子。

参考：http://www.cnblogs.com/ymingjingr/p/4395596.html

关于为何正则化可以防止过拟合，可参考知乎各位大神的回答，不过看完还是云里雾里啊：http://www.zhihu.com/question/20700829