【PRML读书笔记-Chapter1-Introduction】1.3 Model Selection

在训练集上有个好的效果不见得在测试集中效果就好，因为可能存在过拟合(over-fitting)的问题。

如果训练集的数据质量很好，那我们只需对这些有效数据训练处一堆模型，或者对一个模型给定系列的参数值，然后再根据测试集进行验证，选择效果最好的即可；

大多数情况下，数据集大小是有限的或质量不高，那么需要有个第三测试集，用于测试选中的模型的评估。

为了构建好的模型，我们常常选用其中质量较高的数据拿来训练，这就存在一个问题就是测试集的数据质量变低，导致预测的效果由于noisy而导致性能较差。

这种解决方案就是用交叉验证（cross-validation ）。

交叉验证主要的缺陷在于计算量变大了，而且你还要确定一个参数s，即折数。而且它还会带来许多复杂的参数设定，对于一个模型。因为要对许多参数和模型的类型进行比较，因此，我们需要找出一个性能衡量的标准——仅仅取决于训练集，并且也不受过拟合的影响。

赤池信息量准则（英语：Akaike information criterion，简称AIC）是评估统计模型的复杂度和衡量统计模型“拟合”资料之优良性（英语：Goodness of Fit，白话：合身的程度）的一种标准，是由日本统计学家赤池弘次创立和发展的。赤池信息量准则建立在信息熵的概念基础上。

表示似然函数，M表示模型中的可调整的参数个数。

类似的指标还有Bayesian information criterion, or BIC