Overfitting&Underfitting Problems

这次根据结合Google的翻译果然速度快上许多，暂时休息，晚上在传一个exm2的随笔。

关于过度拟合下的问题

考虑从x∈R预测y的问题，下面的最左边的图显示了将\(y=\theta_0+\theta_1x\)拟合到数集的结果，我们看到数据不是真的在直线上，所以适合度不是很好。

相反，如果我们添加了一个额外的特征\(x^2\)，并且拟合\(y=\theta_0+\theta_1x+\theta_2x^2\)，那么我们获得一个稍微更好的拟合数据（见中图）。 哈哈，这时候是不是我们添加的功能越多越好呢？当然不是！当增加太多特征的时候，也会出现很多问题：最右边的图是拟合五阶多项式\(y=\sum_{j=0}^{5}\theta_jx^j\)的结果。图中我们可以看到即使拟合的曲线完美地通过了数据，但我们也不会指望这是对不同生活区（x）的房价（y）很好的预测结果，即当面对新的数据输入（x）时，输出结果（y）是不令人满意的。

没有正式定义这些术语是什么意思，我们会说左边的数字显示了一个不合适的实例，即拟合图形未能清晰捕捉数据集，而右边的数字就是过拟合的例子。

欠拟合(underfitting)或称高偏差，主要由于存在较少的特征集或拟合出的功能函数过于简单导致，此时拟合出的图形对数据的实际趋势的反应能力很差。相反地，过拟合(overfitting)或高方差是由适合可用数据的假设函数引起的，但不能很好地推广到预测新数据。 它通常是由复杂的功能引起的，它产生了与数据无关的大量不必要的曲线和角度。

过拟合与欠拟合这两个术语适用于线性和逻辑回归。

解决过拟合问题有两个主要选择：

1）减少特征数量

• 自己手动选择要保留的特征
• 使用选择算法模型（在以后的课程中引出）

2）正则处理（Regularization）

• 保持所有的特征，但是减小参数\(\theta_j\)的大小。
• 当我们有很多有用的特征集时，正则化后的效果很好。

过拟合下的代价函数（cost function）

如果我们从假设函数中出现过度拟合，我们可以通过增加代价（cost）来减少我们函数中的一些参数的权重。

假设我们想使以下函数：

\(\theta_0+\theta_1x+\theta_2x^2+\theta_3x^3+\theta_4x^4\)

我们试图消除（减弱）\(\theta_3x^3\)与\(\theta_4x^4\)的影响力。实际上并不用删除这些特征或改变我们假设的形式，我们可以这样改变我们的成本函数：

我们在末尾添加了两个额外项，以增加\(\theta_3\)和\(\theta_4\)的成本。 现在，为了使成本函数接近零，我们必须将\(\theta_3\)和\(\theta_4\)的值减小到接近零。 这将大大降低我们假设函数中\(\theta_3x^3\)和\(\theta_4x^4\)的值。 因此，我们看到新假设（由粉红色曲线描绘）看起来像一个二次函数，但是由于额外的小项\(\theta_3x^3\)和\(\theta_4x^4\)，更适合数据。

我们可以正则（regularize）所有的参数theta，总结如下：

正则下的线性回归

梯度下降

我们不想消除（减弱）\(\theta_0\)的权重，因此需要先将\(\theta_0\)从所有的参数theta中剔除，同步不断递归：

因式变换后有：

正则方程(Normal Equation)下的regularization

为了增加正则化，方程与我们的原始方法相同，只是我们在括号内添加另一个项：

L是一个矩阵，其左上角为0，对角线为1，其他地方为0。 应该有维数（n + 1）×（n + 1）。 直观地，这是单位矩阵（尽管我们不包括\(x_0\)），乘以单个实数λ。

之前我们提到\(X^TX\)可能存在的不可逆情形，这里经过\(X^TX+\lambda L\)运算之后一定是可逆的！！

正则下的逻辑回归

我们将线性回归正规化，同时也可以类似的方式对逻辑回归进行正则化。 因此，我们可以避免过度拟合。 下图显示了由蓝线显示的正则化函数比由蓝线表示的非正则化函数更容易具有代表性：

代价函数（cost function）

之前的计算公式为：

正则后的结果为（同样需要事先剔除第一个参数theta_0）：

同时须保证梯度下降中德参数theta的同步更新：