ML-线性回归

记样本数目为$m$，样本点$i$用$(x^{(i)}, y^{(i)})$表示，其中

$x^{(i)}=\begin{pmatrix}
x_1^{(i)}\\ 
x_2^{(i)}\\ 
...\\
x_n^{(i)}\\
\end{pmatrix}$

这里$y^{(i)}$为标量，假设$h_{\theta}(x)=\sum_{i=0}^{n}{\theta_ix_i}=\theta^{T}x$，其中$x_0$为$1$，$\theta$为假设$h$的参数向量，$\theta_0$为（直线）偏移值。

定义代价函数$J(\theta)=\sum_{i=1}^{m}{(y^{(i)}-h_\theta(x^{(i)}))^2}$，我们希望找到合适的$\theta$使得$J$最小，这是很自然的。首先用梯度下降的方法使得参数$\theta$逼近最优值。可以看出，代价函数是在高维上的凸函数，我们希望逼近极小值点，即$h$对$\theta$偏导为$0$的点，由于：

$\frac{\partial J(\theta)}{\partial \theta}\\
=\frac{1}{\partial \theta}\sum_{i=1}^{m}{2(y^{(i)}-h_\theta({x^{(i)}}))\cdot(-1)\cdot{\partial}h_\theta({x^{(i)}})}\\
=-2\sum_{i=1}^{m}((y^{(i)}-\theta^{T}x^{(i)}){\frac{\partial(\theta^{T}x^{(i)})}{\partial \theta}}\\
=-2\sum_{i=1}^{m}((y^{(i)}-\theta^{T}x^{(i)}){x^{(i)}}\\$

因此这样更新$\theta$:

$\theta := \theta + \alpha\sum_{i=1}^{m}{((y^{(i)}-\theta^{T}x^{(i)}){x^{(i)}}}$

其中$\alpha$是可设定的参数，称学习速率。

————————————————————————————————————————————

下面给出机器学习(Andrew Ng)讲义中的一些记号和推导：

对于$n * m$的矩阵$A$与作用在$A$上的函数$f：R^{n * m} \rightarrow R$，定义$f$关于$A$的梯度：

$\nabla_Af(A)=\begin{pmatrix}
{\frac{\partial f}{A_{11}}}&\cdots &{\frac{\partial f}{A_{1m}}} \\ 
\vdots &\ddots &\vdots \\ 
{\frac{\partial f}{A_{n1}}} &\cdots &{\frac{\partial f}{A_{nm}}} 
\end{pmatrix}$

定义$n * n$方阵$A$的迹$\text{tr} A = \sum_{i=1}^{n}A_{ii}$。

下面给出关于迹的一些结论及其证明。

---------------------------------------------------------------------------------------------------------------

结论1：$\text{tr}AB = \text{tr}BA$

证明：$\text{tr}AB = \sum_{i = 1}^{n}\sum_{j = 1}^{m}{A_{ij}B_{ji}}= \sum_{i = 1}^{n}\sum_{j = 1}^{m}{B_{ji}A_{ij}}$

$\sum_{j = 1}^{m}\sum_{i = 1}^{n}{B_{ji}A_{ij}}=\text{tr}BA$

结论2：$\text{tr}ABC = \text{tr}BCA = \text{tr}CAB$

证明：证明方法同上，略去。

结论3：$\text{tr}A = \text{tr}A^{T}$, $\text{tr}(A + B) = \text{tr}(B + A)$, $\text{tr}{aA} = a\text{tr}A$

证明：显然，略去。

结论4：$\nabla_A{\text{tr}{AB}} = B^{T}$

证明：由于$\text{tr}{AB} = \sum_{i = 1}^{n}\sum_{j = 1}^{m}{A_{ij}B_{ji}}$，

于是$(\nabla_A{\text{tr}{AB}})_{ij}=B_{ji}$，即有$\nabla_A{\text{tr}{AB}} = B^{T}$。

结论5：$\nabla_{A^T}{f(A)}=(\nabla_{A}{f(A)})^T$

证明：显然，略去。

结论6：$\nabla_A{\text{tr}{ABA^TC}} = CAB + C^TAB^T$

证明：$\nabla_A{\text{tr}{ABA^TC}} = (BA^TC)^T + CAB = CAB + C^TAB^T$

（主要利用结论2与结论4及求偏导的规律）

结论7：$\nabla_A{\left | A \right |} = \left | A \right | (A^{-1})^T$

证明：$\nabla_A{\left | A \right | } = \nabla_A{\sum_{i = 1}^{n}{A_{ij}A_{ji}^{*}}} = (A^*)^T=\left | A \right |(A^{-1})^T$

---------------------------------------------------------------------------------------------------------------

进一步对线性回归表示法进行抽象，记样本矩阵$X$为：

$X=\begin{pmatrix}
(x^{(1)})^T\\ 
\vdots \\ 
(x^{(n)})^T 
\end{pmatrix}$

同时记目标向量$\vec{y}$为：

$\vec{y}=\begin{pmatrix}
y^{(1)}\\ 
\vdots \\ 
y^{(n)} 
\end{pmatrix}$

可将$J(\theta)$重写为：

$J(\theta)=(X\theta-\vec y)^T(X\theta - \vec y)$

考虑$J(\theta)$的梯度：

$\nabla_\theta{J(\theta)}=\nabla_\theta{(X\theta-\vec y)^T(X\theta - \vec y)}$

$=\nabla_\theta({\theta}^TX^T\vec y + {\vec y}^TX\theta)+\nabla_\theta({\theta}^TX^TX\theta)$

$=2(X^TX\theta - X^T\vec y)$

令$J(\theta) = 0$，有：

$X^TX\theta = X^T\vec y$

在$X^TX$可逆的情形下：

$\theta = (X^TX)^{-1}{X^T\vec y}$

于是我们得到了使得$J(\theta)$极小化的$\theta$的解析解。

————————————————————————————————————————————

局部加权线性回归(LWR : Locally Weighted Linear Regression)

对于之前的线性回归算法，为了在查询点$x$进行预测，进行如下操作：

1. 选择合适的$\theta$最小化$\sum_i{y^{(i)} - \theta^Tx^{(i)}}$.

2. 输出$\theta^Tx$.

---恢复内容结束---

记样本数目为$m$，样本点$i$用$(x^{(i)}, y^{(i)})$表示，其中

$x^{(i)}=\begin{pmatrix}
x_1^{(i)}\\ 
x_2^{(i)}\\ 
...\\
x_n^{(i)}\\
\end{pmatrix}$

这里$y^{(i)}$为标量，假设$h_{\theta}(x)=\sum_{i=0}^{n}{\theta_ix_i}=\theta^{T}x$，其中$x_0$为$1$，$\theta$为假设$h$的参数向量，$\theta_0$为（直线）偏移值。

定义代价函数$J(\theta)=\sum_{i=1}^{m}{(y^{(i)}-h_\theta(x^{(i)}))^2}$，我们希望找到合适的$\theta$使得$J$最小，这是很自然的。首先用梯度下降的方法使得参数$\theta$逼近最优值。可以看出，代价函数是在高维上的凸函数，我们希望逼近极小值点，即$h$对$\theta$偏导为$0$的点，由于：

$\frac{\partial J(\theta)}{\partial \theta}\\
=\frac{1}{\partial \theta}\sum_{i=1}^{m}{2(y^{(i)}-h_\theta({x^{(i)}}))\cdot(-1)\cdot{\partial}h_\theta({x^{(i)}})}\\
=-2\sum_{i=1}^{m}((y^{(i)}-\theta^{T}x^{(i)}){\frac{\partial(\theta^{T}x^{(i)})}{\partial \theta}}\\
=-2\sum_{i=1}^{m}((y^{(i)}-\theta^{T}x^{(i)}){x^{(i)}}\\$

因此这样更新$\theta$:

$\theta := \theta + \alpha\sum_{i=1}^{m}{((y^{(i)}-\theta^{T}x^{(i)}){x^{(i)}}}$

其中$\alpha$是可设定的参数，称学习速率。

————————————————————————————————————————————

下面给出机器学习(Andrew Ng)讲义中的一些记号和推导：

对于$n * m$的矩阵$A$与作用在$A$上的函数$f：R^{n * m} \rightarrow R$，定义$f$关于$A$的梯度：

$\nabla_Af(A)=\begin{pmatrix}
{\frac{\partial f}{A_{11}}}&\cdots &{\frac{\partial f}{A_{1m}}} \\ 
\vdots &\ddots &\vdots \\ 
{\frac{\partial f}{A_{n1}}} &\cdots &{\frac{\partial f}{A_{nm}}} 
\end{pmatrix}$

定义$n * n$方阵$A$的迹$\text{tr} A = \sum_{i=1}^{n}A_{ii}$。

下面给出关于迹的一些结论及其证明。

---------------------------------------------------------------------------------------------------------------

结论1：$\text{tr}AB = \text{tr}BA$

证明：$\text{tr}AB = \sum_{i = 1}^{n}\sum_{j = 1}^{m}{A_{ij}B_{ji}}= \sum_{i = 1}^{n}\sum_{j = 1}^{m}{B_{ji}A_{ij}}$

$\sum_{j = 1}^{m}\sum_{i = 1}^{n}{B_{ji}A_{ij}}=\text{tr}BA$

结论2：$\text{tr}ABC = \text{tr}BCA = \text{tr}CAB$

证明：证明方法同上，略去。

结论3：$\text{tr}A = \text{tr}A^{T}$, $\text{tr}(A + B) = \text{tr}(B + A)$, $\text{tr}{aA} = a\text{tr}A$

证明：显然，略去。

结论4：$\nabla_A{\text{tr}{AB}} = B^{T}$

证明：由于$\text{tr}{AB} = \sum_{i = 1}^{n}\sum_{j = 1}^{m}{A_{ij}B_{ji}}$，

于是$(\nabla_A{\text{tr}{AB}})_{ij}=B_{ji}$，即有$\nabla_A{\text{tr}{AB}} = B^{T}$。

结论5：$\nabla_{A^T}{f(A)}=(\nabla_{A}{f(A)})^T$

证明：显然，略去。

结论6：$\nabla_A{\text{tr}{ABA^TC}} = CAB + C^TAB^T$

证明：$\nabla_A{\text{tr}{ABA^TC}} = (BA^TC)^T + CAB = CAB + C^TAB^T$

（主要利用结论2与结论4及求偏导的规律）

结论7：$\nabla_A{\left | A \right |} = \left | A \right | (A^{-1})^T$

证明：$\nabla_A{\left | A \right | } = \nabla_A{\sum_{i = 1}^{n}{A_{ij}A_{ji}^{*}}} = (A^*)^T=\left | A \right |(A^{-1})^T$

---------------------------------------------------------------------------------------------------------------

进一步对线性回归表示法进行抽象，记样本矩阵$X$为：

$X=\begin{pmatrix}
(x^{(1)})^T\\ 
\vdots \\ 
(x^{(n)})^T 
\end{pmatrix}$

同时记目标向量$\vec{y}$为：

$\vec{y}=\begin{pmatrix}
y^{(1)}\\ 
\vdots \\ 
y^{(n)} 
\end{pmatrix}$

可将$J(\theta)$重写为：

$J(\theta)=(X\theta-\vec y)^T(X\theta - \vec y)$

考虑$J(\theta)$的梯度：

$\nabla_\theta{J(\theta)}=\nabla_\theta{(X\theta-\vec y)^T(X\theta - \vec y)}$

$=\nabla_\theta({\theta}^TX^T\vec y + {\vec y}^TX\theta)+\nabla_\theta({\theta}^TX^TX\theta)$

$=2(X^TX\theta - X^T\vec y)$

令$J(\theta) = 0$，有：

$X^TX\theta = X^T\vec y$

在$X^TX$可逆的情形下：

$\theta = (X^TX)^{-1}{X^T\vec y}$

于是我们得到了使得$J(\theta)$极小化的$\theta$的解析解。

————————————————————————————————————————————

局部加权线性回归(LWR : Locally Weighted Linear Regression)

对于之前的线性回归算法，为了在查询点$x$进行预测，进行如下操作：

1. 选择合适的$\theta$最小化$\sum_i{(y^{(i)} - \theta^Tx^{(i)})^2}$.

2. 输出$\theta^Tx$.

与以上算法略有不同，LWR执行如下操作：

1. 选择合适的$\theta$最小化$\sum_i{w^{(i)}(y^{(i)} - \theta^Tx^{(i)})^2}$.

2. 输出$\theta^Tx$.

对于$w^{(i)}$一种常见的取法如下：

$w^{(i)} = \text{exp}(-\frac{(x^{(i)} - x)^2}{2\tau^2})$

其中参数$\tau$称为带宽。

LWR算法是一种非参数化(non-parametric)算法。与之前的线性回归法不同，这里的参数$\theta$的相对询问点$x$敏感的。

对于每个询问，都需要重新计算$\theta$。