逻辑回归之 Logist 推导

Logist从概率角度认识

可以咱学校教材大二版的<> - 山大版, 来整一波, 为了简化推导形式呢, 这里就假设2个样本空间的形式来展开, 基于(条件概率) 全概率与贝叶斯 作为核心.

栗子: 全概率与贝叶斯

举个我们学校概率论教材的栗子, 这里就不展开概念说明, 自行百度吧, 这只想通过栗子直观感受一波.

设某厂有甲, 乙,丙三个车间都生产 A 产品. 已知(先验概率):

各车间产量分别占全厂的 25%, 35%, 40%,

且各车间的次品率分别为 5%, 4%, 2%.

需求1: 现随机抽取一个样本, 则它是次品的概率有多大?

求解如下:

设A1, A2, A3 分别表示 "产品分别由甲, 乙, 丙车间生产", B 表示 "产品为次品"

显然 A1, A2, A3 构成完备事件组 (就是一个样本空间), 且可得到:

P(A1) = 25%, P(B|A1) = 5%

P(A2) = 35%, P(B|A2) = 4%

P(A3) = 40%, P(B|A3) = 2%

要求P(B) 的(全) 概率, 其分散于, A, B, C 发生下, B的概率之和,即:

$P(B) = P(A1)P(B|A1) + P(A2)P(B|A2) + P(A3)P(B|A3)$

$= \sum \limits _{i=1}^3 P(A_i)P(B|A_i) = 0.0345$

需求2: 现任意取一件, 已知是次品, 求是哪个车间生产的概率最大?

反推哦, 其实就是求 P(A1 |B), P(A2|B), P(A3|B)

$P(A1|B) = \frac {P(A)P(B|A1)}{P(B)} = \frac {25\% * 5\%}{0.0345} = 0.362$

$P(A2|B) = \frac {P(A2)P(B|A2)}{P(B)} = \frac {35\% * 4\%}{0.0345} = 0.406$

$P(A3|B) = \frac {P(A3)P(B|A3)}{P(B)} = \frac {40\% * 2\%}{0.0345} = 0.232$

因此, B 的发生, 来自 $P(A1|B)$ 即乙厂的可能最大.

这其中呢, 其实在不知不觉中用到了贝叶斯公式:

设A1,A2,A3..构成完备事件组, 则对任意一事件B有:

$P(A_i|B) = \frac {P(A_i)P(B|A_i)}{\sum \limits _{i=1}^n P(A_i)P(B|A_i)}$

分母是全概率, 分子是 "分量"

logist 函数推导

假设样本空间 s1, s2, 现已知(样本) 事件 x 发生. (但不知道是基于 s1 还是 s2)

请问: 当 X 事件已经发生下, 是基于是基于 s1 的概率有多大?

即求 P(s1|x)

这就是一个经典的条件概率问题.

先求 P(x) 的全概率:

$P(x) = P(s1)P(x|s1) + P(s2)P(x|s2) \ (1)$

目标( 根据贝叶斯定理:)

$P(s1|x) = \frac {P(s1)P(x|s1)}{P(x)} \ (2)$

$ P(s1|x) = \frac {P(s1)P(x|s1)} {P(s1)P(x|s1) + P(s2)P(x|s2) } (3)$

分子, 分母同时除以分子得:

$P(s1|x) = \frac {1} {\frac {P(s1)P(x|s1)} {P(s1)P(x|s1)} + \frac {P(s2)P(x|s2)}{P(s1)P(x|s1)} } = \frac {1} {1+ \frac {P(s2)P(x|s2)}{P(s1)P(x|s1)} } \ (4)$

令 $y = ln [ \frac {P(s1)P(x|s1)}{P(s2)P(x|s2)}]$ 回代到 (4):

即得出: $P(s1|x) = \frac {1}{1+e^y}$

对数运算性质:

$-y = ln [ \frac {P(s2)P(x|s2)}{P(s1)P(x|s1)}]$

logistic 函数性质

也可以叫做, sigmoid 函数, 一样的. 画出来的话是一个 "s" 形状的曲线.

$f(x) = \frac {1}{1+e^{-x}}$

值域是在 [0, 1] 的连续可导的增函数
x = 0 处, y = 0
x $\rightarrow -\infty$, y -> 0
x $\rightarrow + \infty$ y -> 1

刻画概率的累计分布, 如果从概率视角来认识的话.

$P(y=1|x) = \frac {1}{1+e^{-x}}$

输入一个 x (可以是标量, 向量), 输出一个 [0,1] 的值的时候, y=1 的概率是多少. 这里y一共有两种情况 y = 1或 y=0. 这不就是一个二分类问题吗

结合线性模型:

$P(y=1|x) = \frac {1}{1+e^{-x}} = \frac {1}{1+e^{-\theta^T x}}$

于是, 这样就很清晰认识到, 逻辑回归, 看着像回归, 线性模型嘛, 其实是二分类.

下篇就整一波如何构造目标函数来求解参数向量 $\theta$