【笔记】机器学习 - 李宏毅 - 3 - Bias & Variance

A more complex model does not always lead to better performance on testing data.
Because error due to both of 'bias' and 'variance'.

From training data, we can find \(f^*\), \(f^*\) is an enstimator of \(\hat{f}\)

bias （偏差） 和 variance （方差） 的直观表示：

数学公式：

其中样本均值为\(m\)，样本方差为\(s^2\)，
总体期望为\(\mu\)，方差为\(\sigma^2\)。

数据量很大时，\(m\)会逼近于\(\mu\)。
对多个\(s^2\)计算期望值，这是一个有偏估计。但如果增加N的的个数，就接近于无偏估计了。

模型较简单时，容易欠拟合，bias大，variance小；
模型较复杂时，容易过拟合，bias小，variance大。

在公开数据集上取得很好的效果，在黑盒测试时，未必能取得好成绩。
可以通过增加数据量或者正则化修正。
但是数据并不太好收集，而正则化虽然variance会变小，但bias会变大，覆盖不到target。

另外的办法：将训练数据分为训练集和验证集，用不同的分法分N次，称为N折交叉验证，可以一定程度解决这个问题。