Linear regression with regularization

当我们的λ很大时，hθ(x)≈θ0,是一条直线,会出现underfit；当我们的λ很小时(=0时)，即相当于没有做regularization,会出现overfit;只有当我们的λ取intermediate值时，才会刚刚好。那么我们怎么自动来选择这个λ的值呢？

正则化时的Jtrain(θ),Jcv(θ),Jtest(θ)的表达式

正则化时的Jtrain(θ),Jcv(θ),Jtest(θ)的表达式不带有regularization式子，cost function J(θ)有regularization式子

怎样选择regularization parameter λ(model selection for λ)

计算不同的 λ的值(从0至10.24(为了方便写成10)，下一个是上一个的二倍)的cost function,求出使cost function最小的parametersθ,然后再计算Jcv(θ),选择最小的Jcv(θ)的那个model,如上图中是θ(5)以及其对应的λ的值,然后再计算test error,看其预测准确率.

Jtrain(θ)(how well my hypothesis do on trainning set),Jcv(θ)(how well my hypothesis do on validation set)与λ的关系

当λ很小时，可以认为没有做正则化，则会出现overfitting(high variance)现象,即Jtrain(θ)很小但是Jcv(θ)很大；当λ很大时，会出现underfit(high bias)现象，即Jtrain(θ)与Jcv(θ)都很大;

上面的这个图有点理想化，实际数据画出来的图可能会有些噪声与曲折，但是大致曲线的走向是一致的，所以我们可以通过画这样一个图来看我们设置的λ的值是否适合，或者通过编制程序来自动选择最合适的那个λ的值

Bias vs. Variance(2)--regularization and bias/variance,如何选择合适的regularization parameter λ(model selection)的更多相关文章

  1. Bias(偏差)，Error(误差)，和Variance(方差)的区别和联系

    准: bias描述的是根据样本拟合出的模型的输出预测结果的期望与样本真实结果的差距,简单讲,就是在样本上拟合的好不好.要想在bias上表现好,low bias,就得复杂化模型,增加模型的参数,但这样容 ...

  2. Andrew Ng机器学习公开课笔记 -- Regularization and Model Selection

    网易公开课,第10,11课 notes,http://cs229.stanford.edu/notes/cs229-notes5.pdf   Model Selection 首先需要解决的问题是,模型 ...

  3. 机器学习 Regularization and model selection

    Regularization and model selection 假设我们为了一个学习问题尝试从几个模型中选择一个合适的模型.例如,我们可能用一个多项式回归模型hθ(x)=g(θ0+θ1x+θ2x ...

  4. 转：机器学习 规则化和模型选择（Regularization and model selection）

    规则化和模型选择(Regularization and model selection) 转:http://www.cnblogs.com/jerrylead/archive/2011/03/27/1 ...

  5. 机器学习中的Bias(偏差)，Error(误差)，和Variance(方差)有什么区别和联系？

    前几天搜狗的一道笔试题,大意是在随机森林上增加一棵树,variance和bias如何变化呢? 参考知乎上的讨论:https://www.zhihu.com/question/27068705 另外可参 ...

  6. 2.9 Model Selection and the Bias–Variance Tradeoff

    结论 模型复杂度↑Bias↓Variance↓ 例子 $y_i=f(x_i)+\epsilon_i,E(\epsilon_i)=0,Var(\epsilon_i)=\sigma^2$ 使用knn做预测 ...

  7. [转]理解 Bias 与 Variance 之间的权衡----------bias variance tradeoff

    有监督学习中,预测误差的来源主要有两部分,分别为 bias 与 variance,模型的性能取决于 bias 与 variance 的 tradeoff ,理解 bias 与 variance 有助于 ...

  8. 【思考】为什么说Bagging减少variance，Boosting减少bias？（转载）

    具体讨论可见于此知乎问题,有很多种理解方向,甚至这一个命题可能本来就不成立!

  9. 斯坦福大学公开课机器学习： advice for applying machine learning | regularization and bais/variance（机器学习中方差和偏差如何相互影响、以及和算法的正则化之间的相互关系）

    算法正则化可以有效地防止过拟合, 但正则化跟算法的偏差和方差又有什么关系呢?下面主要讨论一下方差和偏差两者之间是如何相互影响的.以及和算法的正则化之间的相互关系 假如我们要对高阶的多项式进行拟合,为了 ...

随机推荐

  1. （转）在高分辨率下eclipse，STS,等软件工具栏图标过小的问题方法总结

    背景:在高分辨率情况下,sts工具栏图标超小,肉眼看不清.按照方法二能够满足需求,开心 https://blog.csdn.net/u012687923/article/details/8032437 ...

  2. sql 表的连接 inner join、full join、left join、right join、natural join

    一.内连接-inner jion : SELECT * FROM table1 INNER JOIN table2 ON table1.field1 compopr table2.field2 INN ...

  3. Saltstack限制某些shell命令执行

    在cmdmod模块中cmd.run.cmd.run_all.cmd.run_stdout等都可以执行shell命令,要静止某些shell命令,可以修改_run()这个函数来彻底的静止调用这个命令. c ...

  4. Python2.7+virtualenv+CUDA 10.0版的pytorch v1.3.0 +运行人群计数crowdcount-mcnn网络

    Python2.7$ python2 -m virtualenv pytorchenv$ source pytorchenv/bin/activate $ pip install ipython py ...

  5. c# 用XmlWriter写xml序列化

    using System.Text; using System.Xml; using System.Xml.Schema; using System.Xml.Serialization; using ...

  6. 酷！微软发布新终端工具，Win 10 将自带 Linux 内核

    原创:技术最前线(id:TopITNews) 北京时间 5 月 7 日,2019 年微软 Build 开发者大会在雷德蒙德召开.今年大会上亮点很多,本文汇总一些和开发者相关的内容. 1. Window ...

  7. PAT(B) 1075 链表元素分类（Java）

    题目链接:1075 链表元素分类 (25 point(s)) 题目描述 给定一个单链表,请编写程序将链表元素进行分类排列,使得所有负值元素都排在非负值元素的前面,而 [0, K] 区间内的元素都排在大 ...

  8. 一步一步手写GIS开源项目-（2）地图平移缩放实现

    系列文章目录 一步一步手写GIS开源项目-(1)500行代码实现基础GIS展示功能 一步一步手写GIS开源项目-(2)地图平移缩放实现 项目github地址:https://github.com/Hu ...

  9. 使用mavan构建自定义项目脚手架

    首先抛出一个问题是为什么要构建自定义的脚手架,maven已经为了我么提供了很多脚手架,方便我们快速的创建一个普通java项目或者是web项目,然而在实际开发中,例如银行项目,大部分都是ssm架构,我们 ...

  10. Linux 系统中如何进入退出 vim 编辑器

    在 Linux 中,vim 编辑器是系统自带的文本编辑器,但要修改某个文本文件,可不是像 Windows 那样操作,更有新手,进入 vi 编辑器后,无法退出以致于强制关机,其实,这个vim(vi)也是 ...