记样本数目为$m$,样本点$i$用$(x^{(i)}, y^{(i)})$表示,其中

$x^{(i)}=\begin{pmatrix}
x_1^{(i)}\\ 
x_2^{(i)}\\ 
...\\
x_n^{(i)}\\
\end{pmatrix}$

这里$y^{(i)}$为标量,假设$h_{\theta}(x)=\sum_{i=0}^{n}{\theta_ix_i}=\theta^{T}x$,其中$x_0$为$1$,$\theta$为假设$h$的参数向量,$\theta_0$为(直线)偏移值。

定义代价函数$J(\theta)=\sum_{i=1}^{m}{(y^{(i)}-h_\theta(x^{(i)}))^2}$,我们希望找到合适的$\theta$使得$J$最小,这是很自然的。首先用梯度下降的方法使得参数$\theta$逼近最优值。可以看出,代价函数是在高维上的凸函数,我们希望逼近极小值点,即$h$对$\theta$偏导为$0$的点,由于:

$\frac{\partial J(\theta)}{\partial \theta}\\
=\frac{1}{\partial \theta}\sum_{i=1}^{m}{2(y^{(i)}-h_\theta({x^{(i)}}))\cdot(-1)\cdot{\partial}h_\theta({x^{(i)}})}\\
=-2\sum_{i=1}^{m}((y^{(i)}-\theta^{T}x^{(i)}){\frac{\partial(\theta^{T}x^{(i)})}{\partial \theta}}\\
=-2\sum_{i=1}^{m}((y^{(i)}-\theta^{T}x^{(i)}){x^{(i)}}\\$

因此这样更新$\theta$:

$\theta := \theta + \alpha\sum_{i=1}^{m}{((y^{(i)}-\theta^{T}x^{(i)}){x^{(i)}}}$

其中$\alpha$是可设定的参数,称学习速率。

————————————————————————————————————————————

下面给出机器学习(Andrew Ng)讲义中的一些记号和推导:

对于$n * m$的矩阵$A$与作用在$A$上的函数$f:R^{n * m} \rightarrow R$,定义$f$关于$A$的梯度

$\nabla_Af(A)=\begin{pmatrix}
{\frac{\partial f}{A_{11}}}&\cdots &{\frac{\partial f}{A_{1m}}} \\ 
\vdots &\ddots &\vdots \\ 
{\frac{\partial f}{A_{n1}}} &\cdots &{\frac{\partial f}{A_{nm}}} 
\end{pmatrix}$

定义$n * n$方阵$A$的$\text{tr} A = \sum_{i=1}^{n}A_{ii}$。

下面给出关于迹的一些结论及其证明。

---------------------------------------------------------------------------------------------------------------

结论1:$\text{tr}AB = \text{tr}BA$

证明:$\text{tr}AB = \sum_{i = 1}^{n}\sum_{j = 1}^{m}{A_{ij}B_{ji}}= \sum_{i = 1}^{n}\sum_{j = 1}^{m}{B_{ji}A_{ij}}$

$\sum_{j = 1}^{m}\sum_{i = 1}^{n}{B_{ji}A_{ij}}=\text{tr}BA$

结论2:$\text{tr}ABC = \text{tr}BCA = \text{tr}CAB$

证明:证明方法同上,略去。

结论3:$\text{tr}A = \text{tr}A^{T}$, $\text{tr}(A + B) = \text{tr}(B + A)$, $\text{tr}{aA} = a\text{tr}A$

证明:显然,略去。

结论4:$\nabla_A{\text{tr}{AB}} = B^{T}$

证明:由于$\text{tr}{AB} = \sum_{i = 1}^{n}\sum_{j = 1}^{m}{A_{ij}B_{ji}}$,

于是$(\nabla_A{\text{tr}{AB}})_{ij}=B_{ji}$,即有$\nabla_A{\text{tr}{AB}} = B^{T}$。

结论5:$\nabla_{A^T}{f(A)}=(\nabla_{A}{f(A)})^T$

证明:显然,略去。

结论6:$\nabla_A{\text{tr}{ABA^TC}} = CAB + C^TAB^T$

证明:$\nabla_A{\text{tr}{ABA^TC}} = (BA^TC)^T + CAB = CAB + C^TAB^T$

(主要利用结论2与结论4及求偏导的规律)

结论7:$\nabla_A{\left | A \right |} = \left | A \right | (A^{-1})^T$

证明:$\nabla_A{\left | A \right | } = \nabla_A{\sum_{i = 1}^{n}{A_{ij}A_{ji}^{*}}} = (A^*)^T=\left | A \right |(A^{-1})^T$

---------------------------------------------------------------------------------------------------------------

进一步对线性回归表示法进行抽象,记样本矩阵$X$为:

$X=\begin{pmatrix}
(x^{(1)})^T\\ 
\vdots \\ 
(x^{(n)})^T 
\end{pmatrix}$

同时记目标向量$\vec{y}$为:

$\vec{y}=\begin{pmatrix}
y^{(1)}\\ 
\vdots \\ 
y^{(n)} 
\end{pmatrix}$

可将$J(\theta)$重写为:

$J(\theta)=(X\theta-\vec y)^T(X\theta - \vec y)$

考虑$J(\theta)$的梯度:

$\nabla_\theta{J(\theta)}=\nabla_\theta{(X\theta-\vec y)^T(X\theta - \vec y)}$

$=\nabla_\theta({\theta}^TX^T\vec y + {\vec y}^TX\theta)+\nabla_\theta({\theta}^TX^TX\theta)$

$=2(X^TX\theta - X^T\vec y)$

令$J(\theta) = 0$,有:

$X^TX\theta = X^T\vec y$

在$X^TX$可逆的情形下:

$\theta = (X^TX)^{-1}{X^T\vec y}$

于是我们得到了使得$J(\theta)$极小化的$\theta$的解析解。

————————————————————————————————————————————

局部加权线性回归(LWR : Locally Weighted Linear Regression)

对于之前的线性回归算法,为了在查询点$x$进行预测,进行如下操作:

1. 选择合适的$\theta$最小化$\sum_i{y^{(i)} - \theta^Tx^{(i)}}$.

2. 输出$\theta^Tx$.

---恢复内容结束---

记样本数目为$m$,样本点$i$用$(x^{(i)}, y^{(i)})$表示,其中

$x^{(i)}=\begin{pmatrix}
x_1^{(i)}\\ 
x_2^{(i)}\\ 
...\\
x_n^{(i)}\\
\end{pmatrix}$

这里$y^{(i)}$为标量,假设$h_{\theta}(x)=\sum_{i=0}^{n}{\theta_ix_i}=\theta^{T}x$,其中$x_0$为$1$,$\theta$为假设$h$的参数向量,$\theta_0$为(直线)偏移值。

定义代价函数$J(\theta)=\sum_{i=1}^{m}{(y^{(i)}-h_\theta(x^{(i)}))^2}$,我们希望找到合适的$\theta$使得$J$最小,这是很自然的。首先用梯度下降的方法使得参数$\theta$逼近最优值。可以看出,代价函数是在高维上的凸函数,我们希望逼近极小值点,即$h$对$\theta$偏导为$0$的点,由于:

$\frac{\partial J(\theta)}{\partial \theta}\\
=\frac{1}{\partial \theta}\sum_{i=1}^{m}{2(y^{(i)}-h_\theta({x^{(i)}}))\cdot(-1)\cdot{\partial}h_\theta({x^{(i)}})}\\
=-2\sum_{i=1}^{m}((y^{(i)}-\theta^{T}x^{(i)}){\frac{\partial(\theta^{T}x^{(i)})}{\partial \theta}}\\
=-2\sum_{i=1}^{m}((y^{(i)}-\theta^{T}x^{(i)}){x^{(i)}}\\$

因此这样更新$\theta$:

$\theta := \theta + \alpha\sum_{i=1}^{m}{((y^{(i)}-\theta^{T}x^{(i)}){x^{(i)}}}$

其中$\alpha$是可设定的参数,称学习速率。

————————————————————————————————————————————

下面给出机器学习(Andrew Ng)讲义中的一些记号和推导:

对于$n * m$的矩阵$A$与作用在$A$上的函数$f:R^{n * m} \rightarrow R$,定义$f$关于$A$的梯度

$\nabla_Af(A)=\begin{pmatrix}
{\frac{\partial f}{A_{11}}}&\cdots &{\frac{\partial f}{A_{1m}}} \\ 
\vdots &\ddots &\vdots \\ 
{\frac{\partial f}{A_{n1}}} &\cdots &{\frac{\partial f}{A_{nm}}} 
\end{pmatrix}$

定义$n * n$方阵$A$的$\text{tr} A = \sum_{i=1}^{n}A_{ii}$。

下面给出关于迹的一些结论及其证明。

---------------------------------------------------------------------------------------------------------------

结论1:$\text{tr}AB = \text{tr}BA$

证明:$\text{tr}AB = \sum_{i = 1}^{n}\sum_{j = 1}^{m}{A_{ij}B_{ji}}= \sum_{i = 1}^{n}\sum_{j = 1}^{m}{B_{ji}A_{ij}}$

$\sum_{j = 1}^{m}\sum_{i = 1}^{n}{B_{ji}A_{ij}}=\text{tr}BA$

结论2:$\text{tr}ABC = \text{tr}BCA = \text{tr}CAB$

证明:证明方法同上,略去。

结论3:$\text{tr}A = \text{tr}A^{T}$, $\text{tr}(A + B) = \text{tr}(B + A)$, $\text{tr}{aA} = a\text{tr}A$

证明:显然,略去。

结论4:$\nabla_A{\text{tr}{AB}} = B^{T}$

证明:由于$\text{tr}{AB} = \sum_{i = 1}^{n}\sum_{j = 1}^{m}{A_{ij}B_{ji}}$,

于是$(\nabla_A{\text{tr}{AB}})_{ij}=B_{ji}$,即有$\nabla_A{\text{tr}{AB}} = B^{T}$。

结论5:$\nabla_{A^T}{f(A)}=(\nabla_{A}{f(A)})^T$

证明:显然,略去。

结论6:$\nabla_A{\text{tr}{ABA^TC}} = CAB + C^TAB^T$

证明:$\nabla_A{\text{tr}{ABA^TC}} = (BA^TC)^T + CAB = CAB + C^TAB^T$

(主要利用结论2与结论4及求偏导的规律)

结论7:$\nabla_A{\left | A \right |} = \left | A \right | (A^{-1})^T$

证明:$\nabla_A{\left | A \right | } = \nabla_A{\sum_{i = 1}^{n}{A_{ij}A_{ji}^{*}}} = (A^*)^T=\left | A \right |(A^{-1})^T$

---------------------------------------------------------------------------------------------------------------

进一步对线性回归表示法进行抽象,记样本矩阵$X$为:

$X=\begin{pmatrix}
(x^{(1)})^T\\ 
\vdots \\ 
(x^{(n)})^T 
\end{pmatrix}$

同时记目标向量$\vec{y}$为:

$\vec{y}=\begin{pmatrix}
y^{(1)}\\ 
\vdots \\ 
y^{(n)} 
\end{pmatrix}$

可将$J(\theta)$重写为:

$J(\theta)=(X\theta-\vec y)^T(X\theta - \vec y)$

考虑$J(\theta)$的梯度:

$\nabla_\theta{J(\theta)}=\nabla_\theta{(X\theta-\vec y)^T(X\theta - \vec y)}$

$=\nabla_\theta({\theta}^TX^T\vec y + {\vec y}^TX\theta)+\nabla_\theta({\theta}^TX^TX\theta)$

$=2(X^TX\theta - X^T\vec y)$

令$J(\theta) = 0$,有:

$X^TX\theta = X^T\vec y$

在$X^TX$可逆的情形下:

$\theta = (X^TX)^{-1}{X^T\vec y}$

于是我们得到了使得$J(\theta)$极小化的$\theta$的解析解。

————————————————————————————————————————————

局部加权线性回归(LWR : Locally Weighted Linear Regression)

对于之前的线性回归算法,为了在查询点$x$进行预测,进行如下操作:

1. 选择合适的$\theta$最小化$\sum_i{(y^{(i)} - \theta^Tx^{(i)})^2}$.

2. 输出$\theta^Tx$.

与以上算法略有不同,LWR执行如下操作:

1. 选择合适的$\theta$最小化$\sum_i{w^{(i)}(y^{(i)} - \theta^Tx^{(i)})^2}$.

2. 输出$\theta^Tx$.

对于$w^{(i)}$一种常见的取法如下:

$w^{(i)} = \text{exp}(-\frac{(x^{(i)} - x)^2}{2\tau^2})$

其中参数$\tau$称为带宽。

LWR算法是一种非参数化(non-parametric)算法。与之前的线性回归法不同,这里的参数$\theta$的相对询问点$x$敏感的。

对于每个询问,都需要重新计算$\theta$。

ML-线性回归的更多相关文章

  1. ML 线性回归Linear Regression

    线性回归 Linear Regression MOOC机器学习课程学习笔记 1 单变量线性回归Linear Regression with One Variable 1.1 模型表达Model Rep ...

  2. 大叔学ML第四:线性回归正则化

    目录 基本形式 梯度下降法中应用正则化项 正规方程中应用正则化项 小试牛刀 调用类库 扩展 正则:正则是一个汉语词汇,拼音为zhèng zé,基本意思是正其礼仪法则:正规:常规:正宗等.出自<楚 ...

  3. 大叔学ML第二:线性回归

    目录 基本形式 求解参数\(\vec\theta\) 梯度下降法 正规方程导法 调用函数库 基本形式 线性回归非常直观简洁,是一种常用的回归模型,大叔总结如下: 设有样本\(X\)形如: \[\beg ...

  4. ML(3)——线性回归

    在统计学中,线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析.这种函数是一个或多个称为回归系数的模型参数的线性 ...

  5. ml的线性回归应用(python语言)

    线性回归的模型是:y=theta0*x+theta1   其中theta0,theta1是我们希望得到的系数和截距. 下面是代码实例: 1. 用自定义数据来看看格式: # -*- coding:utf ...

  6. ML之多元线性回归

    转自:http://www.cnblogs.com/zgw21cn/archive/2009/01/07/1361287.html 1.多元线性回归模型 假定被解释变量与多个解释变量之间具有线性关系, ...

  7. ML:多变量线性回归(Linear Regression with Multiple Variables)

    引入额外标记 xj(i) 第i个训练样本的第j个特征 x(i) 第i个训练样本对应的列向量(column vector) m 训练样本的数量 n 样本特征的数量 假设函数(hypothesis fun ...

  8. ML:单变量线性回归(Linear Regression With One Variable)

    模型表达(model regression) 用于描述回归问题的标记 m 训练集(training set)中实例的数量 x 特征/输入变量 y 目标变量/输出变量 (x,y) 训练集中的实例 (x( ...

  9. 线性回归与梯度下降(ML作业)

    Loss函数 题目一:完成computeCost.m function J = computeCost(X, y, theta) %COMPUTECOST Compute cost for linea ...

  10. [Machine Learning & Algorithm]CAML机器学习系列1:深入浅出ML之Regression家族

    声明:本博客整理自博友@zhouyong计算广告与机器学习-技术共享平台,尊重原创,欢迎感兴趣的博友查看原文. 符号定义 这里定义<深入浅出ML>系列中涉及到的公式符号,如无特殊说明,符号 ...

随机推荐

  1. android 三步实现沉浸式 简单到无法想象

    今天产品来看进度,说ios状态栏可以改颜色,以前竟然也没注意过,看了美团 ,扣扣的实现, 才注意到.着手开始做.网上借鉴了点 ,各种乱,整理了下  .希望可以帮到大家 . [转载请标明出处] 前提:  ...

  2. sql server2008登录出错怎么整

    我在登录的时候老是报同一个错误,如下图: 更正方法: 这样改了之后就可以了!

  3. iOS常见算法(二分法 冒泡 选择 快排)

    二分法: 平均时间复杂度:O(log2n) int halfFuntion(int a[], int length, int number)  { int start = 0; int end = l ...

  4. Java 获取汉字拼音的方法

    package lius.util;   import java.io.Serializable; import java.util.ArrayList;   public class JString ...

  5. bash shell + python简单教程,让你的mac/linux终端灰起来~

    前提条件:已经安装python,命令行支持bash 在bash_profile中添加 function ccolor { python /Users/xirtam/Documents/tools/cc ...

  6. GIT 配置管理

    git版本控制开发流程小结笔记(一) 收藏                                                                     何良瑞Nyanko君 ...

  7. Tyrion中文文档(含示例源码)

    Tyrion是一个基于Python实现的支持多个WEB框架的Form表单验证组件,其完美的支持Tornado.Django.Flask.Bottle Web框架.Tyrion主要有两大重要动能: 表单 ...

  8. sys.stdout.write与sys.sterr.write(一)

    目标: 1.使用sys.stdout.write输入0-9数字 2.使用sys.stderr.write输出0-9数字 3.使用两种方式输出0-9,显示0变化到9的过程 1.使用sys.stdout. ...

  9. 用BlazeMeter录制JMeter测试脚本

    工具: 1,JMeter 2,Chrome 3,BlazeMeter 4,SwitchyOmega(如果需要代理) 步骤: 以上工具准备好以后就可以录制JMeter的测试脚本了, 在Chrome中点击 ...

  10. SpringMVC原理解析-Servlet容器启动时初始化SpringMVC应用的原理