贝叶斯方法（Bayesian approach） —— 一种概率解释（probabilistic interpretation）

1. Bayesian approach

对于多项式拟合问题，我们可通过最小二乘（least squares）的方式计算得到模型的参数，最小二乘法又可视为最大似然（maximum likelihood）的一种特例，当模型选择过于复杂时，很容易在测试集上造成过拟合（over-fitting），因此，过拟合问题可被理解为最大似然普遍存在的一种性质。

过拟合的问题可通过贝叶斯方法得以避免。

2. 举例

由 N 个输入向量 x={x1,x2,…,xN}T 及每一个输入向量对应的目标值 t={t1,t2,…,tN}。定义 y(x,w) 为判定函数，所谓一种概率化的处理方式即在于，输入样本为 x0 时，预测值未必为 y(x0,w)，而是以一定概率为 y(x0,w)。我们现做如下假设：

p(t∣∣x,w,β)=N(t|y(x,w),β−1)

也即服从均值为 y(x,w)，方差为 σ2=β−1 的高斯分布。

则对于全体样本的似然函数（连乘是基于样本之间彼此独立的基本假设）为：

p(t∣∣x,w,β)=∏n=1NN(tn|y(xn,w),β−1)

为方便计算，两边同时取对数，进一步简化为：

lnp(t∣∣x,w,β)=−β2∑n=1N{tn−y(xn,w)}2+N2lnβ−N2ln(2π)

则可求得 β 的最大似然解 βML（上述等式求关于 β 的导数，并置 0）：

1βML=1N∑n=1N{tn−y(xn,w)}2

1βML 表示的是高斯分布的方差。