【ML】求解线性回归方程(Linear Regression)

参考资料：openclassroom

线性回归(Linear Regression)

为了拟合10岁以下儿童年龄(x₁)与身高(y)之间的关系，我们假设一个关于x的函数h(x)：

h(x) = Θ₀+Θ₁*x₁ = Θ₀*x₀+Θ₁*x₁ = Θ^T*x (其中x₀=1, x=[x₀, x₁])

我们的目的是求出Θ，使得h(x)接近真实的y。

因此我们需要在m个训练样本(x,y)上使得h(x)与y的平方误差最小。

也就是最小化J(Θ) =1/(2*m) * ∑_i(h(x⁽ⁱ⁾)-y⁽ⁱ⁾)²

分母上2的作用是抵消求导时平方项产生的2.

解法一：Gradient Descent(梯度下降)

Θ朝着J(Θ)的梯度方向（即J(Θ)关于Θ的偏导）前进，直到J(Θ)达到极小点（线性回归中J(Θ)为碗状，极小点即最小点）

α为步长，由于J(Θ)关于Θ的偏导会逐渐变小，因此α无需调整。

同时执行以下两个更新公式，直到收敛。

注意：同时执行。而不是求出一个代入另一个的迭代执行。

Θ₀ = Θ₀-α/m*∑_i(h(x⁽ⁱ⁾)-y⁽ⁱ⁾)x₀(i)

Θ₁ = Θ₁-α/m*∑_i(h(x⁽ⁱ⁾)-y⁽ⁱ⁾)x₁⁽ⁱ⁾

解法二：Normal Equations

J(Θ)关于Θ求导为0，联列方程组求解得：

Θ = (X^TX)^-1X^TY (其中X的行向量为x⁽ⁱ⁾，Y每个元素为y⁽ⁱ⁾)

注意：(X^TX)^{-1不一定有意义}

case 1: 每个x⁽ⁱ⁾样本的维度为n。当m <= n时，X^TX 非满秩，为奇异矩阵，无逆元。

case 2: x⁽ⁱ⁾特征线性相关，即X列向量线性相关时，X^TX 非满秩，为奇异矩阵，无逆元。