机器学习基石笔记：09 Linear Regression

线性回归假设：

代价函数------均方误差：

最小化样本内代价函数：

只有满秩方阵才有逆矩阵。

线性回归算法流程：

线性回归算法是隐式迭代的。

线性回归算法泛化可能的保证：

根据矩阵的迹的性质：trace(A+B)=trace(A)+trace(B)，

trace(I-H)

=trace(I_N*N)-trace(H)

=N-trace(XX⁺)

=N-trace(X^TX(X^TX)^-1)

=N-trace(I_(d+1)*(d+1))

=N-(d+1)，

I-H这种转换的物理意义：

原来有一个有N个自由度的向量y，投影到一个有d+1维的空间X（代表一列的自由度，即单一输入样本的参数），而剩余的自由度最大只有N-(d+1)。

线性分类是近似求解，线性回归是解析求解，

线性分类中使用0/1误差，线性回归中使用均方误差，

误差方面，线性分类能小于线性回归，

但线性回归速度更快，

可以用线性回归的参数结果初始化线性分类的参数值，

减少迭代过程，加速求解。