logistic分类
对Logistic回归模型,个人做的一些总结:
公式就不套用了,教材上面基本都有而且详细。logistic回归用图形化形式描述如下:
logistic回归是一种简单高效的分类模型,它不仅可以通过学习来预测样本的类别,还可以得到样本属于各个类别的概率信息。因此在机器学习中得到了及其广泛的应用。
同时,它还有比较与其他模型的一些优点:
(1)logistic回归模型是线性模型,线性模型的优势是稳定性强,求解简单。但通常情况下,线性回归拟合得到的输出范围是不确定的,可以从负无穷至正无穷的区间范围内,输出的“不确定性”给分类问题提出了很大的挑战。logistic回归模型汲取了一般线性模型的优点,同时由于增加了Sigmoid函数,因此将输出范围限定在了0-1区间,而最终的输出可以看作是输入的条件概率分布。因此具有很好的实用性和可解释性。
(2)模型求导方便,使用简单的求导法则即可完成模型的求导,因此很多教材/教程都将该模型作为了入门学习的模型,受众广大/使用简单。相比于神经网络/SVM等模型,对于应用者来说是拿来就可以用的起的模型。
(3)模型是基于统计学的,在二分类情况下,假设样本服从伯努利分布后最大化极大似然函数进行推导的结果,这一部分可以参考斯坦福大学的资料,因此是具备足够理论支撑的模型。
(4)同样是计算过程简单,对于现在互联网行业中轻则百万千万的样本量的输入来说,使用起来是低成本的,同时迭代起来也快。
(5)对于小样本量来说,logistic模型训练参数的个数与输入维数是基本一致的,在前期进过降维和特征选择之后,输入的特征并不会太多,因此需要训练的参数个数相比其他模型来说相对较少,过拟合的程度相对还好。
(6)处理多分类问题,可以使用one to all的方法训练多个分类器,在神经网络处理多分类问题时,最终输出结果通常会使用softmax函数,可以看作是logistic模型的广义推广。
欢迎同行指正和补充。
logistic分类的更多相关文章
- 深度学习笔记(一):logistic分类【转】
本文转载自:https://blog.csdn.net/u014595019/article/details/52554582 这个系列主要记录我在学习各个深度学习算法时候的笔记,因为之前已经学过大概 ...
- 线性模型-线性回归、Logistic分类
线性模型是机器学习中最简单的,最基础的模型结果,常常被应用于分类.回归等学习任务中. 回归和分类区别: 回归:预测值是一个连续的实数: 分类:预测值是离散的类别数据. 1. 线性模型做回归任务 ...
- 多分类-- ROC曲线
本文主要介绍一下多分类下的ROC曲线绘制和AUC计算,并以鸢尾花数据为例,简单用python进行一下说明.如果对ROC和AUC二分类下的概念不是很了解,可以先参考下这篇文章:http://blog.c ...
- logistic回归学习
logistic回归是一种分类方法,用于两分类的问题,其基本思想为: 寻找合适的假设函数,即分类函数,用来预测输入数据的结果: 构造损失函数,用来表示预测的输出结果与训练数据中实际类别之间的偏差: 最 ...
- 『科学计算』通过代码理解SoftMax多分类
SoftMax实际上是Logistic的推广,当分类数为2的时候会退化为Logistic分类 其计算公式和损失函数如下, 梯度如下, 1{条件} 表示True为1,False为0,在下图中亦即对于每个 ...
- 多分类下的ROC曲线和AUC
本文主要介绍一下多分类下的ROC曲线绘制和AUC计算,并以鸢尾花数据为例,简单用python进行一下说明.如果对ROC和AUC二分类下的概念不是很了解,可以先参考下这篇文章:http://blog.c ...
- 机器学习实战之Logistic回归
Logistic回归一.概述 1. Logistic Regression 1.1 线性回归 1.2 Sigmoid函数 1.3 逻辑回归 1.4 LR 与线性回归的区别 2. LR的损失函数 3. ...
- 数据分析logistic回归与时间序列
logistics回归 1.影响关系研究是所有研究中最为常见的. 2.当y是定量数据时,线性回归可以用来分析影响关系. 3.如果现在想对某件事情发生的概率进行预估,比如一件衣服的是否有人想购买? 这里 ...
- (六) 6.1 Neurons Networks Representation
面对复杂的非线性可分的样本是,使用浅层分类器如Logistic等需要对样本进行复杂的映射,使得样本在映射后的空间是线性可分的,但在原始空间,分类边界可能是复杂的曲线.比如下图的样本只是在2维情形下的示 ...
随机推荐
- eclipse 复制原项目工作空间
eclipse 复制原项目工作空间 具体步骤: 1.首先把你需要升级的eclipse 下载并解压 2.解压好后,右击 3.进入后你能看到这样一个页面 4.我的安装路径D:\work\Eclipse\ ...
- Django REST framework+Vue 打造生鲜超市(十)
十一.pycharm远程代码调试 第三方登录和支付,都需要有服务器才行(回调url),我们可以用pycharm去远程调试服务器代码 服务器环境搭建 以全新阿里云centos7系统为例: 11.1.阿里 ...
- [C#]设计模式-简单工厂-创建型模式
在设计模式当中有三大工厂,分别是 简单工厂.抽象工厂.工厂方法 这三种创建实例的设计模式,这里先从简单工厂将其,从名字就可以看出这是这三种工厂模式当中最为简单的一种实现. 简单工厂一般由以下几个对象组 ...
- 微信的自动回复&接入聊天机器人
今天偶尔发现了一个有趣的python库--itchat,可以实现微信的自动回复.防撤回,结合图灵机器人还能实现聊天机器人的作用 简单介绍一下配置与工具 win7旗舰版 pycharm python ...
- [Codeforces 863B]Kayaking
Description Vadim is really keen on travelling. Recently he heard about kayaking activity near his t ...
- ●BZOJ 2006 NOI 2010 超级钢琴
题链: http://www.lydsy.com/JudgeOnline/problem.php?id=2006 题解: RMQ + 优先队列 (+ 前缀) 记得在一两个月前,一次考试考了这个题目的简 ...
- 2015 多校联赛 ——HDU5305(搜索)
Friends Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/65536 K (Java/Others) Total Su ...
- [APIO/ctsc2007]
A.风铃 给一棵二叉树,叶子结点是玩具,为使你的弟弟满意,你需要选一个满足下面两个条件的风铃: (1) 所有的玩具都在同一层(也就是说,每个玩具到天花板之间的杆的个数是一样的)或至多相差一层.(2) ...
- Python Django系统
本节内容 路由系统,视图函数,模板引擎,ORM操作 FBV和CBV ORM操作补充 Cookie和Session Ajax入门 1. Django基本内容整理 1.1 路由系统 Django中路由系 ...
- 第三节基础篇—SQL的约束
1.约束是一种限制,它通过对表的行或列的数据做出限制,来确保表的数据的完整性.唯一性.本节实验将在实践操作中熟悉 MySQL 中的几种约束. 约束分类: 2.删除数据库语句为DROP DATABASE ...