Logist从概率角度认识

可以咱学校教材大二版的<> - 山大版, 来整一波, 为了简化推导形式呢, 这里就假设2个样本空间的形式来展开, 基于(条件概率) 全概率与贝叶斯 作为核心.

栗子: 全概率与贝叶斯

举个我们学校概率论教材的栗子, 这里就不展开概念说明, 自行百度吧, 这只想通过栗子直观感受一波.

设某厂有甲, 乙,丙 三个车间都生产 A 产品. 已知(先验概率):

各车间产量分别占全厂的 25%, 35%, 40%,

且各车间的次品率分别为 5%, 4%, 2%.

需求1: 现随机抽取一个样本, 则它是次品的概率有多大?

求解如下:

设A1, A2, A3 分别表示 "产品分别由甲, 乙, 丙 车间生产", B 表示 "产品为次品"

显然 A1, A2, A3 构成完备事件组 (就是一个样本空间), 且可得到:

P(A1) = 25%, P(B|A1) = 5%

P(A2) = 35%, P(B|A2) = 4%

P(A3) = 40%, P(B|A3) = 2%

要求P(B) 的(全) 概率, 其分散于, A, B, C 发生下, B的概率之和,即:

\(P(B) = P(A1)P(B|A1) + P(A2)P(B|A2) + P(A3)P(B|A3)\)

\(= \sum \limits _{i=1}^3 P(A_i)P(B|A_i) = 0.0345\)

需求2: 现任意取一件, 已知是次品, 求是哪个车间生产的概率最大?

反推哦, 其实就是求 P(A1 |B), P(A2|B), P(A3|B)

\(P(A1|B) = \frac {P(A)P(B|A1)}{P(B)} = \frac {25\% * 5\%}{0.0345} = 0.362\)

\(P(A2|B) = \frac {P(A2)P(B|A2)}{P(B)} = \frac {35\% * 4\%}{0.0345} = 0.406\)

\(P(A3|B) = \frac {P(A3)P(B|A3)}{P(B)} = \frac {40\% * 2\%}{0.0345} = 0.232\)

因此, B 的发生, 来自 \(P(A1|B)\) 即乙厂的可能最大.

这其中呢, 其实在不知不觉中用到了贝叶斯公式:

设A1,A2,A3..构成完备事件组, 则对任意一事件B有:

\(P(A_i|B) = \frac {P(A_i)P(B|A_i)}{\sum \limits _{i=1}^n P(A_i)P(B|A_i)}\)

分母是 全概率, 分子是 "分量"

logist 函数推导

假设样本空间 s1, s2, 现已知(样本) 事件 x 发生. (但不知道是基于 s1 还是 s2)

请问: 当 X 事件已经发生下, 是基于 是基于 s1 的概率有多大?

即求 P(s1|x)

这就是一个经典的条件概率问题.

先求 P(x) 的全概率:

\(P(x) = P(s1)P(x|s1) + P(s2)P(x|s2) \ (1)\)

目标( 根据贝叶斯定理:)

\(P(s1|x) = \frac {P(s1)P(x|s1)}{P(x)} \ (2)\)

$ P(s1|x) = \frac {P(s1)P(x|s1)} {P(s1)P(x|s1) + P(s2)P(x|s2) }  (3)$

分子, 分母同时 除以 分子得:

\(P(s1|x) = \frac {1} {\frac {P(s1)P(x|s1)} {P(s1)P(x|s1)} + \frac {P(s2)P(x|s2)}{P(s1)P(x|s1)} } = \frac {1} {1+ \frac {P(s2)P(x|s2)}{P(s1)P(x|s1)} } \ (4)\)

令 \(y = ln [ \frac {P(s1)P(x|s1)}{P(s2)P(x|s2)}]\) 回代到 (4):

即得出: \(P(s1|x) = \frac {1}{1+e^y}\)

对数运算性质:

\(-y = ln [ \frac {P(s2)P(x|s2)}{P(s1)P(x|s1)}]\)

logistic 函数性质

也可以叫做, sigmoid 函数, 一样的. 画出来的话是一个 "s" 形状的曲线.

\(f(x) = \frac {1}{1+e^{-x}}\)

  • 值域是在 [0, 1] 的连续可导的增函数
  • x = 0 处, y = 0
  • x \(\rightarrow -\infty\), y -> 0
  • x \(\rightarrow + \infty\) y -> 1

刻画概率的累计分布, 如果从概率视角来认识的话.

\(P(y=1|x) = \frac {1}{1+e^{-x}}\)

输入一个 x (可以是标量, 向量), 输出一个 [0,1] 的值 的时候, y=1 的 概率是多少. 这里y一共有两种情况 y = 1或 y=0. 这不就是一个二分类问题吗

结合线性模型:

\(P(y=1|x) = \frac {1}{1+e^{-x}} = \frac {1}{1+e^{-\theta^T x}}\)

于是, 这样就很清晰认识到, 逻辑回归, 看着像回归, 线性模型嘛, 其实是二分类.

下篇就整一波如何构造目标函数来求解参数向量 \(\theta\)

逻辑回归 之 Logist 推导的更多相关文章

  1. 逻辑回归原理,推导,sklearn应用

    目录 逻辑回归原理,推导,及sklearn中的使用 1 从线性回归过渡到逻辑回归 2 逻辑回归的损失函数 2.1 逻辑回归损失函数的推导 2.2 梯度下降法 2.3 正则化 3 用逻辑回归进行多分类 ...

  2. 逻辑回归(Logistic Regression)推导

    出自BYRans博客:http://www.cnblogs.com/BYRans/ 本文主要讲解分类问题中的逻辑回归.逻辑回归是一个二分类问题. 二分类问题 二分类问题是指预测的y值只有两个取值(0或 ...

  3. 逻辑回归原理_挑战者飞船事故和乳腺癌案例_Python和R_信用评分卡(AAA推荐)

    sklearn实战-乳腺癌细胞数据挖掘(博客主亲自录制视频教程) https://study.163.com/course/introduction.htm?courseId=1005269003&a ...

  4. 逻辑回归 Logistic Regression

    逻辑回归(Logistic Regression)是广义线性回归的一种.逻辑回归是用来做分类任务的常用算法.分类任务的目标是找一个函数,把观测值匹配到相关的类和标签上.比如一个人有没有病,又因为噪声的 ...

  5. 逻辑回归(LR)总结复习

    摘要: 1.算法概述 2.算法推导 3.算法特性及优缺点 4.注意事项 5.实现和具体例子 6.适用场合 内容: 1.算法概述 最基本的LR分类器适合于对两分类(类0,类1)目标进行分类:这个模型以样 ...

  6. 逻辑回归LR

    逻辑回归算法相信很多人都很熟悉,也算是我比较熟悉的算法之一了,毕业论文当时的项目就是用的这个算法.这个算法可能不想随机森林.SVM.神经网络.GBDT等分类算法那么复杂那么高深的样子,可是绝对不能小看 ...

  7. 逻辑回归(Logistic Regression)

    转载请注明出自BYRans博客:http://www.cnblogs.com/BYRans/ 本文主要讲解分类问题中的逻辑回归.逻辑回归是一个二分类问题. 二分类问题 二分类问题是指预测的y值只有两个 ...

  8. 感知器、逻辑回归和SVM的求解

    这篇文章将介绍感知器.逻辑回归的求解和SVM的部分求解,包含部分的证明.本文章涉及的一些基础知识,已经在<梯度下降.牛顿法和拉格朗日对偶性>中指出,而这里要解决的问题,来自<从感知器 ...

  9. DeepLearning之路(一)逻辑回归

    逻辑回归 1.  总述 逻辑回归来源于回归分析,用来解决分类问题,即预测值变为较少数量的离散值. 2.  基本概念 回归分析(Regression Analysis):存在一堆观测资料,希望获得数据内 ...

随机推荐

  1. 八大排序算法总结与java实现(转)

    八大排序算法总结与Java实现 原文链接: 八大排序算法总结与java实现 - iTimeTraveler 概述 直接插入排序 希尔排序 简单选择排序 堆排序 冒泡排序 快速排序 归并排序 基数排序 ...

  2. electron/nodejs实现调用golang函数

    https://www.jianshu.com/p/a3be0d206d4c 思路 golang 支持编译成c shared library, 也就是系统中常见的.so(windows下是dll)后缀 ...

  3. PostgreSQL 11 Partitioning Improvements

    转自:https://pgdash.io/blog/partition-postgres-11.html PostgreSQL 11, due to be released later this ye ...

  4. 在Hadoop-3.1.2上安装HBase-2.2.1

    目录 目录 1 1. 前言 3 2. 缩略语 3 3. 安装规划 3 3.1. 用户规划 3 3.2. 目录规划 4 4. 相关端口 4 5. 下载安装包 4 6. 修改配置文件 5 6.1. 修改策 ...

  5. 不刷新网页修改url链接:history.pushState()和history.replaceState()新增、修改历史记录用法介绍

    最近遇到了在不刷新页面的情况下修改浏览器url链接的需求,考虑到可以通过history.pushState()解决.现在将我理解的一些内容分享一下,不对的地方欢迎大家指出. 在使用方法前首先需要了解它 ...

  6. Spring Transaction 使用入门 (转)

    Spring Transaction 使用入门 一.开篇陈述 1.1 写文缘由 最近在系统学习spring框架IoC.AOP.Transaction相关的知识点,准备写三篇随笔记录学习过程中的感悟.这 ...

  7. mysql(六)数据库连接池

    什么是数据库连接池 数据库连接池(Connection pooling)是程序启动时建立足够的数据库连接,并将这些连接组成一个连接池,由程序动态地对池中的连接进行申请,使用,释放 数据库连接池的运行机 ...

  8. MOT19数据集百度云盘

    图片按视频分的压缩包 [已失效] 链接: https://pan.baidu.com/s/1kNw6yhvqgitNK5N__WOpxw 提取码: yia4 链接: https://pan.baidu ...

  9. JavaScript开发小技巧

    总结一些能够提高开发效率的JS技巧 1.过滤唯一值 Set类型是在ES6中新增的,它类似于数组,但是成员的值都是唯一的,没有重复的值.结合扩展运算符(...)我们可以创建一个新的数组,达到过滤原数组重 ...

  10. Docker 部署web项目

    1.查找Docker Hub上的tomcat镜像 # docker search tomcat   2.拉取官方的镜像 # docker pull tomcat   提示:Using default ...