2.8 Classes of Restricted Estimators

根据所加限制的不同，可以将模型分为以下几类

• RSS+Roughness penalty
  $PRSS(f;\lambda)=RSS(f)+\lambda J(f)$
  其中$J(f)$为对函数$f$的penalty，先验知识

• Kernal+Local Regression
  Kernal函数用于指定某邻居区域

  • $K_\lambda(x_0,x)=\frac{1}{\lambda}exp\left[-\frac{{||x-x_0||}^2}{2\lambda}\right]$
    $\lambda$越小，离$x_0$远的点，权重就越小，即表示小的邻居区域

  • KNN中k近邻也可以理解为Kernal函数

  Local regression函数，主要是一些简单函数，如：

  • $f_{\theta}(x)=\theta_0$，常数，可以看成是KNN中使用的邻居区域函数

  • $f_{\theta}(x)=\theta_0+\theta_1x$

• Basis Function+linear combination
  $f_{\theta}(x)=\sum_i^M \theta_m h_m(x)$
  $h_m(x)$为basis function，也叫dictionary methods