机器学习基石笔记：13 Hazard of Overfitting

泛化能力差和过拟合：

引起过拟合的原因：

1）过度VC维（模型复杂度高）------确定性噪声；

2）随机噪声；

3）有限的样本数量N。

具体实验来看模型复杂度Q_f/确定性噪声、随机噪声sigma²、样本数量N对过拟合的影响：

尽量避免过拟合：

1)从简单模型开始：降低模型复杂度；

2)data cleaning/data pruning：去noise；

3)data hinting（线索）：增加样本数量；

4)regularization：正则化；

5)validation：验证。