从Odds：比值比推导出Logtic分类的算法

在从概率模型推导出逻辑回归算法模型的博文中，我试着从李宏毅老师的课程中讲到的概率模型去推导逻辑分类的算法模型。有幸看到另外一篇博文01 分类算法 - Logistic回归 - Logit函数,我了解到另外一种分类模型的推导：从比值比推导。

比值比

首先了解什么是比值比：比值比（优势比）Odds，用来衡量特征中分类之间关联的一种方式。指的是该事件发生的概率与该事件不发生的概率的比值：\(\frac{p}{1-p}\). 百度百科解释。

Logit模型

我们需要了解另外一个概念Logit模型Logit函数百度百科解释另外这篇也讲解了一些Logit 是怎么算的？。

关联

我们认为logit(odds)和特征值X之间存在某种线性关系，即：\(logit(odds)=wx+b\)

进一步推导。
\[
logit(odds)=ln(\frac{p}{1-p})=wx+b
\]

\[
\frac{p}{1-p}=exp(wx+b)
\]
设
\[
z=wx+b
\]
得
\[
\frac{p}{1-p}=exp(z)
\]

\[
p=\frac{exp(z)}{1+exp(z)}=\frac{1}{1+exp(-z)}
\]

用到的主要数学方面的知识：极大似然函数，比值比，logit模型,基本上都是统计学的知识，看来这个将是我下一步复习和学习的方向。