机器学习（三）--------多变量线性回归(Linear Regression with Multiple Variables)

机器学习（三）--------多变量线性回归(Linear Regression with Multiple Variables)

同样是预测房价问题  如果有多个特征值

那么这种情况下  假设h表示为 

公式可以简化为

两个矩阵相乘   其实就是所有参数和变量相乘再相加  所以矩阵的乘法才会是那样

那么他的代价函数就是

同样是寻找使J最小的一系列参数

python代码为

比如这种     那么X是[1,2,3]   y也是[1,2,3]   那么令theta0 = 0  theta1 = 1   这个函数返回值为0最小      theta0 = 0 theta1=0的话  返回值是2.333

要考虑是否需要特征缩放，特征缩放就是特征分配不均时   会导致梯度下降耗费更多  为了让梯度下降更快

所以

如何选择学习率α呢

梯度下降算法的每次迭代受到学习率的影响，如果学习率 过小，则达到收敛所需的迭代次数会非常高，如果学习率过大，每次迭代可能不会减小代价函数，可能会越过局部最小值导致无法收敛。

通常可以考虑尝试些学习率：0.01,0.03,0.3,1,3,10

而有的时候线性回归并不适用于所有的模型，这个时候我们要考虑用多项式模型

这个时候特征缩放就很重要

梯度下降  线性回归的python代码

# -*- coding=utf8 -*-

import math;

def sum_of_gradient(x, y, thetas):
"""计算梯度向量，参数分别是x和y轴点坐标数据以及方程参数"""
m = len(x);
grad0 = 1.0 / m * sum([(thetas[0] + thetas[1] * x[i] - y[i]) for i in range(m)])
grad1 = 1.0 / m * sum([(thetas[0] + thetas[1] * x[i] - y[i]) * x[i] for i in range(m)])
return [grad0, grad1];

def step(thetas, direction, step_size):
"""move step_size in the direction from thetas"""
return [thetas_i + step_size * direction_i
for thetas_i, direction_i in zip(thetas, direction)]

def distance(v, w):
"""两点的距离"""
return math.sqrt(squared_distance(v, w))

def squared_distance(v, w):
vector_subtract = [v_i - w_i for v_i, w_i in zip(v, w)]
return sum(vector_subtract_i * vector_subtract_i for vector_subtract_i, vector_subtract_i
in zip(vector_subtract, vector_subtract))

def gradient_descent(stepSize, x, y, tolerance=0.000000001, max_iter=100000):
"""梯度下降"""
iter = 0
# initial theta
thetas = [0, 0];
# Iterate Loop
while True:
gradient = sum_of_gradient(x, y, thetas);

next_thetas = step(thetas, gradient, stepSize);

if distance(next_thetas, thetas) < tolerance: # stop if we're converging
break
thetas = next_thetas # continue if we're not

iter += 1 # update iter

if iter == max_iter:
print 'Max iteractions exceeded!'
break;

return thetas

x = [1, 2, 3];
y = [5, 9, 13];
stepSize = 0.001;
t0, t1 = gradient_descent(-stepSize, x, y);
print t0, " ", t1;

线性回归还有一种更简单的  就是正规方程

这个是用数学推导出来的

两者对比：