Linear Regreesion

   3、似然函数：我是这么理解的，比如说我们知道某个X的概率分布密度函数，但是这个概率分布有未知的参数，但是我想得到这个未知的参数θ，然后我们就通过很多个已知的变量，把这些概率分布密度函数乘起来，这个就是似然函数。

最大似然函数：知道似然函数后，我们就要求出这个未知参数，我们要求的这个参数应该使得似然函数最大，即概率分布最大。

期望风险（真实风险），可理解为 模型函数固定时，数据 平均的 损失程度，或“平均”犯错误的程度。 期望风险是依赖损失函数和概率分布的。

只有样本，是无法计算期望风险的。

所以，采用经验风险，对期望风险进行估计，并设计学习算法，使其最小化。即经验风险最小化（Empirical Risk Minimization）ERM，而经验风险是用损失函数来评估的、计算的。

对于分类问题，经验风险，就训练样本错误率。

对于函数逼近，拟合问题，经验风险，就平方训练误差。

对于概率密度估计问题，ERM，就是最大似然估计法。