Logistic回归算法梯度公式的推导

最近学习Logistic回归算法，在网上看了许多博文，笔者觉得这篇文章http://blog.kamidox.com/logistic-regression.html写得最好。但其中有个关键问题没有讲清楚：为什么选择-log(h(x))作为成本函数(也叫损失函数)。

和线性回归算法相比，逻辑回归的预测函数是非线性的，不能使用均方差函数作为成本函数。因此如何选择逻辑回归算法的成本函数，就要多费一些事。

在正式讨论这个问题之前，先来复习一些基础知识。

一些常见函数的导数

$$
\frac{dy}{dx}(x^n) = nx^{n-1}
$$

$$
\frac{dy}{dx}log_b(x) = \frac{1}{xln(b)} \text{ 如果b=e } \frac{dy}{dx}log_e(x) = \frac{1}{x}
$$

$$
\frac{dy}{dx}(b^x)= b^xln(b) \text{ 如果b=e } \frac{dy}{dx}(e^x) = e^x
$$

求导法则

常数倍

如果f(x)=Cg(x)，C是常数，那么

\[
\frac{dy}{dx}(f(x))=C\frac{dy}{dx}(g(x))
\]

函数和与函数差

如果f(x) = g1(x) + g2(x) - g3(x)，那么

\[
\frac {dy}{dx}(f(x)) = \frac {dy}{dx}(g1(x)) + \frac {dy}{dx}(g2(x)) - \frac {dy}{dx}(g3(x))
\]

乘积法求导

如果h(x) = f(x)g(x)，那么:

\[
h^{'}(x) = f^{'}(x)g(x) + g^{'}(x)f(x)
\]

设h(x) = y, f(x) = u, g(x)=v, 那么:

\[
\frac {dy}{dx} = v\frac {du}{dx} + u\frac {dv}{dx}
\]

商法则求导

如果h(x) = f(x)/g(x), 那么:

\[
h^{'}(x) = \frac {f^{'}(x)g(x) - g^{'}(x)f(x)}{{(g(x))}^2}
\]

y=u/v，那么:

\[
\frac{dy}{dx} = \frac{\frac{du}{dx}v - \frac{dv}{dx}u}{v^2}
\]

链式求导

如果h(x) = f(g(x)), 那么:

\[
h^{'}(x) = f^{'}(g(x))g^{'}(x)
\]

如果y是u的函数，并且u是x的函数，那么:

\[
\frac{dy}{dx} = \frac{dy}{du}\frac{du}{dx}
\]

逻辑回归算法涉及到的几个基本函数

关于数据的特征向量x和回归系数向量w的线性函数

\[
L_w(x) = w^Tx
\]

sigmoid函数

\[
g(z) = \frac{1}{1 + e^{-z}}
\]

分类预测函数

\[
h_w(x) = \frac{1}{1 + e^{-w^Tx}}
\]

逻辑回归算法是一个二分类算法，可以用1, 0表示这两种分类。算法的最终目标是找到一个合适的回归系数w, 对数据集中的任意一条数据x_i满足:

\[
\begin{cases}
h_w(x_i) >= 0.5 &\text{真实分类y=1} \\
h_w(x_i) <0.5 &\text{真实分类y=0}
\end{cases}
\]

分类判断函数h_w(x_i)的取值区间是(0,1)，可以把它看成数据x_i在系数为w时属于分类1概率。由于只有两个分类，同样可以把1-h_w(x)看成是x在系数为w是属于分类0的概率

选择成本函数

现在开始选择成本函数，目前还没有选择成本函数的头绪，但是我看可以先假设有一个成本函数，看看它应该满足什么条件，设成本函数为:

\[
J(w) = \begin{cases}
\frac{1}{m}\sum^m_{i=1}f(h_w(x_i)) &\text{y=1} \\
\frac{1}{m}\sum^m_{i=1}f(1- h_w(x_i)) &\text{y=0}
\end{cases}
\]

这个这个成本函数和线性回归的成本函数长得差不多，不同的是这里有一个未知函数f(u), 在线性回归中\(f(u)=(h_w(x_i) - y)^2\)，这里不还不知道f(x)是什么。但根据h_w(x_i)的特点，反推，可以得到f(u)应该具有的第一个性质:

当u趋近于1(100%概率)时, f(u)趋近于最小值。

在梯度向下公式中，计算J(w)的梯度可以归结为计算f(u)的梯度。可以使用链式求导法计算:

\[
\frac{δ}{δw_j}f(u) = f'(u)u'x_{ij}
\]

这里的u可能是h_w(x_i)或1-h_w(x_i), u'等于h'_w(x_i)或-h'_w(x_i)，因此会终涉及到对sigmoid函数的导数:

设\(g(x)=\frac{1}{1+e^{-x}}\)

$
\frac{dy}{dx}(g(x)) = \frac{0(1+e^{-x}) - 1(-e^{-x})}{(1+e^{-x})^2} = \frac{e^{-x}}{(1+e^{-x})^2}
$

$
= \frac{1}{1+e^{-x}}\frac{e^{-x}}{1+e^{-x}} = \frac{1}{1+e^{-x}}\frac{1+e^{-x}-1}{1+e^{-x}} = \frac{1}{1+e^{-x}}(\frac{1+e^{-x}}{1+e^{-x}} - \frac{1}{1+e^{-x}}) = g(x)(1-g(x))
$

把令u=g(x), 那么\(u'=u(1-u)\)，代入到梯度公式中得到:

$
\frac{δ}{δw_j}f(u) = f'(u)u(1-u)x_{ij}
$

如果在这个公式的计算过程中可以消掉u或(1-u)的同时不引入其他函数，就可以大大简化梯度的计算。因此可以得到f(u)需要满足的第二个性质:

能够满足: \(f'(u)=\frac{a}{u}\), a是常数。

前文中刚好有一种函数可以满足这种要求: \(\frac{dy}{du}(ln(u))=\frac{1}{u}\)，但f(u)=ln(u), 不能满足第一个性质，此时只需加一个'-'号就可以了，即: f(u)=-ln(u)。

找到f(u)后再来重写成本函数:

\[
J(w) = \begin{cases}
\frac{1}{m}\sum^m_{i=1}-ln(h_w(x_i)) &\text{y=1} \\
\frac{1}{m}\sum^m_{i=1}-ln(1- h_w(x_i)) &\text{y=0}
\end{cases}
\]

合并成一个函数:

$
J(w) = \frac{1}{m}\sum^m_{i=1}-yln(h_w(x_i)) - (1-y)ln(h_w(x_i))
$

梯度下降公式

$
w_j := w_j - \alpha\frac{δ}{δw_j}J(w)
$

$
\frac{δ}{δw_j}J(w) = \frac{δ}{δw_j}\frac{1}{m}\sum^m_{i=1}-yln(h_w(x_i)) - (1-y)ln(1- h_w(x_i))
$

$
= \frac{1}{m}\sum^m_{i=1}\frac{-y_jh_w(x_i)(1-h_w(x_i))x_{ij}}{h_w(x_i)}+\frac{-(1-y_j)(1-h_w(x_i))(1-(1-h_w(x_i))(-x_{ij})}{1-h_w(x_i)}
$

$
= \frac{1}{m}\sum^m_{i=1}-y_j(1-h_w(x_i))x_{ij}+(1-y_j)h_w(x_i)x_{ij}
$

$
= \frac{1}{m}\sum^m_{i=1}(-y + yh_w(x_i) + h_w(x_i) - yh_w(x_i))x_{ij}
= \frac{1}{m}\sum^m_{i=1}(h_w(x_i)-y_i)x_{ij}
$

最终得到梯度下降公式如下

$
w_j := w_j - \alpha\frac{δ}{δw_j}J(w) = w_j - \alpha\frac{1}{m}\sum^m_{i=1}(h_w(x_i)-y_i)x_{ij}
$