Logistic Regression - Formula Deduction

Sigmoid Function

\[ \sigma(z)=\frac{1}{1+e^{(-z)}} \]

feature:

1. axial symmetry：
   \[ \sigma(z)+ \sigma(-z)=1 \]
2. gradient:
   \[ \frac{\partial\sigma(z)}{\partial z} = \sigma(z)[1-\sigma(z)] \]
   由性质1 可知，
   \[ \frac{\partial\sigma(z)}{\partial z} = \sigma(z) \sigma(-z) \]

Logistic Function

\[ \sigma(x;\theta)= \frac{1}{1+e^{-\theta x}} \]

首先我们考虑 \(2\) 分类问题, 所以\(f(x)\)的值域也是 \([-1,1]\)。
\[ P(y=1|x,\theta) = \sigma(x) \]

即对于给定的样本\(x\)，其属于类别 \(1\) 的概率是 \(f(x)\)。则属于类别 \(-1\) 的概率是
\[P(y=-1 | x,\theta) = 1-\sigma(x)= \sigma(-x)\]

上述概率也可以写作:
\[P(y | x,\theta) = \left\{\begin{split}\sigma(x),~~~~y=1 \\ \sigma(-x),y=-1 \end{split}\right.\]

代价函数的形式是：
\[\mathcal{l}(\theta) = \frac{1}{n} \sum_{i=1}^{n} \log \sigma(y_i x_i) \]

Note

1. 之所以记 \(y\in [-1,1]\) 而不是 \(y \in [0,1]\)，因为前者能简化计算公式，不需要再做分类计算了。
2. 如果采用 \(y \in [0,1]\), 那么我们的代价函数就变成了：
   \[ \mathcal{l}(\theta) = \frac{1}{n} \sum_{i=1}^{n} y_i \log \sigma(x_i) + (1-y_i) \log (1-\sigma(x_i)) \]
   详情请参见： [Logistic Regression分类器]（http://www.cnblogs.com/guyj/p/3800519.html）