• 过拟合:

Overfitting就是指Ein(在训练集上的错误率)变小,Eout(在整个数据集上的错误率)变大的过程

Underfitting是指Ein和Eout都变大的过程

从上边这个图中,虚线的左侧是underfitting,右侧是overfitting,发生overfitting的主要原因是:使用过于复杂的模型,数据噪音,有限的训练集

  • 机器学习过程中的三个锦囊妙计

Occam's Razor:指的是对训练数据最简单的解释就是最好的,训练的模型可能越简单越好。

Sampling Bias:抽样是有偏差的,解决方案是:训练集合测试集来自于同一个部分。

Data Snooping:在实际操作时,如果做什么决定的时候尽量要避免用数据来做决定,要先把domain knoeledge变成feature放进去,而不是看完数据再放专业知识进去

  • 正则化-Regularization

正则化公示的推到过程:

发生overfitting的一个重要原因是假设过于复杂,而我们需要的是一个稍微简单的模型来学习,避免overfitting,例如,原来假设空间是10次曲线,很容易对数据过拟合,我们希望的是他变的简单一点 比如w向量只保持三个分量,如下图

根据先前的知识,可知,H2包含于H10,可得如下公式:

即H2 是H10的一部分,并且是将w3... w10都设置为0,此时我们得到的是一个多项式,在这个多项式中,只有3个系数,此时达到了简化的目的,避免了过拟合的发生。下图是一个转化简图,这个时候只需要找到最优的H2即可。

通过上边的转化,我们已经达到了简化的目的,但是,上边只保留的了w0+w1*x+w2*x2这样的形式,接着对H2进行扩展使得,任意三项不为零即可。即约束条件变宽,

通过上述问题,最终的问题转化为求最优的H2'即可。但是这个问题是一个NP-hard问题,因此需要做进一步的转化,转化的条件是,使得||Wq||2小于一个常数C即可。即

此时需要找到一个正规化的假设的权重WREG:optimal solution from regularized hypothesis set H(c)

这个时候待解决的问题就转化为了求Ein的最小值,约束条件为每一个权重值都小于C

然后继续,转化为在下式的约束条件下,的最小值。

此时采用的是梯度下降法,如下图中约束WTW<=C是一个圆形,即所取的w的取值都应该在圆内部以及圆的边上,而Wlin是要求的值,因此选择梯度法向量的反方向,即当梯度的反方向和w的方向平行时的W为所求的WREG

即到最后的约束变为:

接下来,对于所有的lamad>0,对Ein取微分,通过计算,即可得到WREG 

还有另外一种方法,即对含有梯度的等式求积分,只要求积分的最小值即可,这个时候就是前文提到的正则化的公式。

过拟合(Overfitting)和正规化(Regularization)的更多相关文章

  1. 莫烦theano学习自修第九天【过拟合问题与正规化】

    如下图所示(回归的过拟合问题):如果机器学习得到的回归为下图中的直线则是比较好的结果,但是如果进一步控制减少误差,导致机器学习到了下图中的曲线,则100%正确的学习了训练数据,看似较好,但是如果换成另 ...

  2. tensorflow学习4-过拟合-over-fitting

    过拟合: 真实的应用中,并不是让模型尽量模拟训练数据的行为,而是希望训练数据对未知做出判断. 模型过于复杂后,模型会积极每一个噪声的部分,而不是学习数据中的通用 趋势.当一个模型的参数比训练数据还要多 ...

  3. 机器学习(四)正则化与过拟合问题 Regularization / The Problem of Overfitting

    文章内容均来自斯坦福大学的Andrew Ng教授讲解的Machine Learning课程,本文是针对该课程的个人学习笔记,如有疏漏,请以原课程所讲述内容为准.感谢博主Rachel Zhang 的个人 ...

  4. 机器学习中模型泛化能力和过拟合现象(overfitting)的矛盾、以及其主要缓解方法正则化技术原理初探

    1. 偏差与方差 - 机器学习算法泛化性能分析 在一个项目中,我们通过设计和训练得到了一个model,该model的泛化可能很好,也可能不尽如人意,其背后的决定因素是什么呢?或者说我们可以从哪些方面去 ...

  5. 吴恩达机器学习笔记19-过拟合的问题(The Problem of Overfitting)

    到现在为止,我们已经学习了几种不同的学习算法,包括线性回归和逻辑回归,它们能够有效地解决许多问题,但是当将它们应用到某些特定的机器学习应用时,会遇到过拟合(over-fitting)的问题,可能会导致 ...

  6. Overfitting & Regularization

    Overfitting & Regularization The Problem of overfitting A common issue in machine learning or ma ...

  7. Machine Learning - 第3周(Logistic Regression、Regularization)

    Logistic regression is a method for classifying data into discrete outcomes. For example, we might u ...

  8. Overfitting&Underfitting Problems

    这次根据结合Google的翻译果然速度快上许多,暂时休息,晚上在传一个exm2的随笔. 关于过度拟合下的问题 考虑从x∈R预测y的问题,下面的最左边的图显示了将\(y=\theta_0+\theta_ ...

  9. 斯坦福机器学习视频笔记 Week3 逻辑回归与正则化 Logistic Regression and Regularization

    我们将讨论逻辑回归. 逻辑回归是一种将数据分类为离散结果的方法. 例如,我们可以使用逻辑回归将电子邮件分类为垃圾邮件或非垃圾邮件. 在本模块中,我们介绍分类的概念,逻辑回归的损失函数(cost fun ...

随机推荐

  1. “ArcGIS数据应用和地图打印输出

    中国科学院计算技术研究所教育中心 关于开展“ArcGIS数据应用和地图打印输出” 培训班的通知 各相关单位: 随着信息化.网络化.数字化向纵深发展,互联网与空间地理信息系统相互交织,数字地球.“智慧地 ...

  2. Ultra Edit常用正则表达式

    一.怎样可以删除包含特殊字符的行? 你可以用正则表示式全部替换命令替换行中包含的字符.要执行这个操作,你应该先进行查找: 查找: %*YOUR STRING*^p 替换为: (随便什么文字) 帮助文件 ...

  3. Codeforces Round #200 (Div. 1) D Water Tree 树链剖分 or dfs序

    Water Tree 给出一棵树,有三种操作: 1 x:把以x为子树的节点全部置为1 2 x:把x以及他的所有祖先全部置为0 3 x:询问节点x的值 分析: 昨晚看完题,马上想到直接树链剖分,在记录时 ...

  4. 理论制作 Windows 开机动画

    第一次接触 Windows 开机动画是 2012 年,那时候魔方的版本号还是 3.12,魔方里面有个很酷炫狂霸拽的功能就是替换 Windows 7 的开机动画.一开始我是在IT之家论坛里下载开机动画, ...

  5. Nginx服务器不支持PATH_INFO的问题及解决办法

    最近在写一个小程序,然后里面自己写了个URL的处理器,比如说访问index.php/article 那么就会自动加载进来article页面,访问index.php/home就会自动加载home页面. ...

  6. Table of Contents - Spring

    The IoC container Spring 容器 属性注入 & 构造注入 Bean 实例的创建方式 p-namespace & c-namespace 集合属性的注入 作用域 延 ...

  7. 用Drawing画图如何不会消失

    方法一:将事件放在form_Load中,在窗体中画图   1: protected void MainForm_Load(object sender,EventArgs e) 2: { 3: Init ...

  8. 10款基于jquery实现的超酷动画源码

    1.jQuery二级下拉菜单 下拉箭头翻转动画 之前我们分享过不少基于jQuery的二级下拉菜单,甚至是多级的下拉菜单,比如这款jQuery/CSS3飘带状多级下拉菜单就非常华丽.但今天要介绍的这款j ...

  9. NOIP 2015普及组复赛Day1 T1 == Codevs4510 神奇的幻方

    时间限制: 1 s  空间限制: 128000 KB  题目等级 : 黄金 Gold  题目描述 Description: 幻方是一种很神奇的N∗N矩阵:它由数字 1,2,3, … … ,N∗N构成, ...

  10. 关于MD5加密的小知识

    - (NSString *)MD5Hash { const char *cStr = [self UTF8String]; unsigned char result[16]; CC_MD5(cStr, ...