机器学习入门：Linear Regression与Normal Equation -2017年8月23日22:11:50

本文会讲到：

(1)另一种线性回归方法：Normal Equation；

(2)Gradient Descent与Normal Equation的优缺点；

 

前面我们通过Gradient Descent的方法进行了线性回归，但是梯度下降有如下特点：

(1)需要预先选定Learning rate；

(2)需要多次iteration；

(3)需要Feature Scaling；

 

因此可能会比较麻烦，这里介绍一种适用于Feature数量较少时使用的方法：Normal Equation；

 

当Feature数量小于100000时使用Normal Equation；

当Feature数量大于100000时使用Gradient Descent；

 

Normal Equation的特点：简单、方便、不需要Feature Scaling；

其中Normal Equation的公式：

 

表示第i个training example；

表示第i个training example里的第j个feature的值；

m为#training example；

n为#feature；

 

for instance: