机器学习 1 regression

Linear regerssion 线性回归

回归：

stock market forecast

f(过去10年股票起伏的资料) = 明天道琼指数点数

self driving car

f(获取的道路图像)= 方向盘角度

recommendation

f(使用者A 商品B)= 购买商品可能性

预测妙蛙种子 cp值 combat power

f( xs ) =cp after evolution

xs

xhp

xw

xh

找model

定义 function set

step 1: model

y = b+ w* xcp  进化前的CP值

f1 : y= 10.0+9*xcp

f2: y= 9.8+9.2*xcp

f3: y= -0.8-1.2*xcp

infinite 有很多

linear model : y=b+sum(wi*xi)

xi feature wi weight b bais

step2: goodness of function

x¹ ,   y^{^1}

x² ,   y^{^2}

...

x¹⁰ ,   y^{^10}

x 进化前的CP值

y 进化后的CP值

xⁿ_cp  

损失函数

L（f）=L(w,b)

使用某个function 的wb 用来计算L

step: best function

gradient descent

L(w) w

w*= arg min_wL(w)

穷举W所有值 ，看计算那个值？ 效率低

可以： 1） 随机选取初始点 W⁰

2) 计算 dL/dw| w=w0

也就是切线的斜率      negative -》 increase w

positive -> decrease w

往左边走一步 还是右边走，LOSS会减少？

stepsize: 却觉于

1)现在的微分值越大，也就是越陡峭，

2)还有就是常数项 learning rate

w1 <- w0- n* dl/dw|w=w0

w2 <- w1-n*dl/dw|w=w1

local optimal 会找到局部最小值，而不是global optimal

如果是两个参数？ w*,b* = arg min _w,b L(w,b)

与上面的过程一致

有两个参数 w,b 决定了function

in linear regression ,the loss function L ins convex

NO local optimal

how's the results?

Generalization 泛化性能

selecting another model

y= b+w₁*x_cp+w₂*(x_cp)²

有没有可能更复杂的model,

how about more complex model?

在train data上效果是模型越复杂，效果很好，这是因为

越复杂的模型是包括简单的模型

A more complex model yields lower error on training data

但是在test data上效果不一定是。这就是overfitting

只考虑进化前的cp值可能还不够，同时需要考虑物种

预测重新设计function Set

if xs=pidgey y=b1+w1*x_cp

也是线性模型，不同种类的物种，它的model不一样

考虑其他的影响因素 用更加复杂的模型

已经过拟合了

regularization 正则项 ，去解决过拟合，

当W很小，接近0，当输入有变化，output对输入变化不敏感。

输出对输入就不敏感，function 就平滑。如果一个平滑的function

收到噪声影响小。

调整b 和function平滑没关系，只是和位置有关系

lamad 越大，考虑训练误差越小

我们希望function平滑，但不能太平滑，调整lamad