$RSS(f)=\sum_i^N \left(y_i-f(x_i)\right)^2$

  • 当数据量足够大时，数据存在相同$x_i$，不同$y_{il},l=1\cdots t$
    则得到的f即为条件均值$E(y|X=x)$的无偏估计

  • 任意的一个$\hat{f}$都可以是一个特定的解，所以有无限多个解
    其中会有有些解在训练集上表现不错，而在测试集上表现不好

为了得到可行的解，需要加上一些限制

  • 对函数f的限制，比如linear regression限制函数为线性的;KNN限制为在某邻居区域内，函数为常数

  • 对邻居区域的限制，KNN限制为k个邻居所在的区域；linear regression则没有做限制

  • 邻居区域越大，所加的限制就越强，解对于限制就越敏感
    比如没有对领居区域进行限制，此时用不同函数拟合差别很大
    而当邻居区域小时，用常数表示或用线性函数拟合，差别并不大

  • 不同邻居区域不同函数的解决方法，受维度诅咒，比如KNN

2.7 Structured Regression Models的更多相关文章

  1. DSSM(DEEP STRUCTURED SEMANTIC MODELS)

    Huang, Po-Sen, et al. "Learning deep structured semantic models for web search using clickthrou ...

  2. [Sklearn] Linear regression models to fit noisy data

    Ref: [Link] sklearn各种回归和预测[各线性模型对噪声的反应] Ref: Linear Regression 实战[循序渐进思考过程] Ref: simple linear regre ...

  3. Regression：Generalized Linear Models

    作者:桂. 时间:2017-05-22  15:28:43 链接:http://www.cnblogs.com/xingshansi/p/6890048.html 前言 本文主要是线性回归模型,包括: ...

  4. Multiple Regression

    Multiple Regression What is multiple regression? Multiple regression is regression analysis with mor ...

  5. Regression analysis

    Source: http://wenku.baidu.com/link?url=9KrZhWmkIDHrqNHiXCGfkJVQWGFKOzaeiB7SslSdW_JnXCkVHsHsXJyvGbDv ...

  6. 7 Types of Regression Techniques you should know!

    翻译来自:http://news.csdn.net/article_preview.html?preview=1&reload=1&arcid=2825492 摘要:本文解释了回归分析 ...

  7. Regularized Linear Regression with scikit-learn

    Regularized Linear Regression with scikit-learn Earlier we covered Ordinary Least Squares regression ...

  8. How and when: ridge regression with glmnet

    @drsimonj here to show you how to conduct ridge regression (linear regression with L2 regularization ...

  9. ESL翻译：Linear Methods for Regression

    chapter 3: Linear Methods for Regression 第3章:回归的线性方法 3.1 Introduction A linear regression model assu ...

随机推荐

  1. Linux web性能优化

    1,

  2. sudo nopasswd

    preface,不问头条,但汝读荐,诚意满满的!

  3. How to run OFBiz as a Service on linux

    Windows See this specific guide: How to Run OFBiz as Windows Service with Java Service Wrapper Linux ...

  4. JQuery 补充

    筛选: expr         String 字符串值,包含供匹配当前元素集合的选择器表达式. jQuery      objectobject 现有的jQuery对象,以匹配当前的元素. elem ...

  5. 图的最小生成树(Prim、Kruskal)

    理论: Prim: 基本思想:假设G＝(V,E)是连通的,TE是G上最小生成树中边的集合.算法从U＝{u0}(u0∈V).TE＝{}开始.重复执行下列操作: 在所有u∈U,v∈V-U的边(u,v)∈E ...

  6. 格而知之16：我所理解的Block（2）

    11.那么Block到底是怎么实现的呢?试一试通过将Block 的代码转换成普通C语言代码来查看它的实现过程. 要将OC代码转换成C语言代码,可以使用clang编译的一个命令: 通过这个命令能把指定文 ...

  7. [转]XNOR-Net ImageNet Classification Using Binary Convolutional Neural Networks

    感谢: XNOR-Net ImageNet Classification Using Binary Convolutional Neural Networks XNOR-Net ImageNet Cl ...

  8. mysql 自己定义存储过程和触发器

    mysql 自己定义存储过程和触发器 --存储过程示范 DROP PROCEDURE IF EXISTS PRO_TEST; CREATE PROCEDURE PRO_TEST(IN NUM_IN I ...

  9. 多线程程序 怎样查看每个线程的cpu占用

    可以用下面的命令将 cpu 占用率高的线程找出来: ps H -eo user,pid,ppid,tid,time,%cpu,cmd --sort=%cpu 这个命令首先指定参数'H',显示线程相关的 ...

  10. C#/.NET笔试题

    1.简述 private. protected. public. internal.protected internal 访问修饰符和访问权限 private : 私有成员, 在类的内部才可以访问. ...