作者：张欣
链接：https://www.zhihu.com/question/23765351/answer/98897364
来源：知乎
著作权归作者所有，转载请联系作者获得授权。

softmax 回归(Softmax Regression) 这里解释的很详细，简单总结下：

softmax模型是logistic模型在多分类问题上的推广， logistic 回归是针对二分类问题的，类标记为{0， 1}。
假设函数为：。
代价函数为：<img src="https://pic1.zhimg.com/980d1a1ab6da9a277ee7fe5e2e5b6c1c_b.png" data-rawwidth="514" data-rawheight="61" class="origin_image zh-lightbox-thumb" width="514" data-original="https://pic1.zhimg.com/980d1a1ab6da9a277ee7fe5e2e5b6c1c_r.png">

在softmax模型中，label可以为k个不同的值。
对于给定的测试输入 ，我们想用假设函数针对每一个类别j估算出概率值。
假设函数将输出一个k维的向量
<img src="https://pic4.zhimg.com/242501fa80f9a1d463fb4b5d10d446b7_b.png" data-rawwidth="453" data-rawheight="111" class="origin_image zh-lightbox-thumb" width="453" data-original="https://pic4.zhimg.com/242501fa80f9a1d463fb4b5d10d446b7_r.png">
请注意 这一项对概率分布进行归一化，使得所有概率之和为 1 。
代价函数为：<img src="https://pic1.zhimg.com/558819625cec5f8b7cda33c4f7ea3acc_b.png" data-rawwidth="417" data-rawheight="61" class="content_image" width="417">其中：1{值为真的表达式}=1 为示性函数。其中：1{值为真的表达式}=1 为示性函数。
如果类别之间是互斥的，适合用softmax；如果类别之间允许重叠，应该选择k个logistic分类器。

Softmax 函数的特点和作用是什么？的更多相关文章

  1. Softmax 函数的特点和作用

    ---------- 因为这里不太方便编辑公式,所以很多公式推导的细节都已经略去了,如果对相关数学表述感兴趣的话,请戳这里的链接Softmax的理解与应用 - superCally的专栏 - 博客频道 ...

  2. softmax函数详解

    答案来自专栏:机器学习算法与自然语言处理 详解softmax函数以及相关求导过程 这几天学习了一下softmax激活函数,以及它的梯度求导过程,整理一下便于分享和交流. softmax函数 softm ...

  3. Softmax函数详解与推导

    一.softmax函数 softmax用于多分类过程中,它将多个神经元的输出,映射到(0,1)区间内,可以看成概率来理解,从而来进行多分类! 假设我们有一个数组,V,Vi表示V中的第i个元素,那么这个 ...

  4. [机器学习入门篇]-Logistic函数与Softmax函数

    1.Logistic函数 在维基百科中,对logistic函数这样介绍道: A logistic function or logistic curve is a common "S" ...

  5. [转]softmax函数详解

    答案来自专栏:机器学习算法与自然语言处理 详解softmax函数以及相关求导过程 这几天学习了一下softmax激活函数,以及它的梯度求导过程,整理一下便于分享和交流. softmax函数 softm ...

  6. 深度学习（四） softmax函数

    softmax函数 softmax用于多分类过程中,它将多个神经元的输出,映射到(0,1)区间内,可以看成概率来理解,从而来进行多分类! 假设我们有一个数组,V,Vi表示V中的第i个元素,那么这个元素 ...

  7. Sigmoid函数与Softmax函数的理解

    1. Sigmod 函数 1.1 函数性质以及优点 其实logistic函数也就是经常说的sigmoid函数,它的几何形状也就是一条sigmoid曲线(S型曲线).               其中z ...

  8. python3 Softmax函数

    Softmax函数公式 Softmax的作用简单的说就计算一组数值中每个值的占比 import torch import torch.nn.functional as F # 原始数据tensor y ...

  9. [Machine Learning] logistic函数和softmax函数

    简单总结一下机器学习最常见的两个函数,一个是logistic函数,另一个是softmax函数,若有不足之处,希望大家可以帮忙指正.本文首先分别介绍logistic函数和softmax函数的定义和应用, ...

随机推荐

  1. HTML5之Javascript多线程

    Javascript执行机制      在HTML5之前,浏览器中JavaScript的运行都是以单线程的方式工作的,虽然有多种方式实现了对多线程的模拟(例如:Javascript 中的 setint ...

  2. flashsim配置2015最新版本

    http://blog.csdn.net/Eidosper/article/details/46458469 http://www.doc88.com/p-7314277317013.html htt ...

  3. Java 中 byte、byte 数组和 int、long 之间的转换

    Java 中 byte 和 int 之间的转换源码: //byte 与 int 的相互转换 public static byte intToByte(int x) { return (byte) x; ...

  4. 得到Revit子窗体

    start /// <summary> /// 得到主窗体句柄 /// </summary> /// <returns></returns> publi ...

  5. 如何选择使用IEnumerable, ICollection, IList

    IEnumerable, ICollection, IList,每种接口只适合某些特定场景,如何区别使用呢? IEnumerable接口,只提供了一个获取迭代器的方法,这也是为什么可以使用foreac ...

  6. 清除数据库表、外键、存储过程SQL

    1.删除所有外键 )    begin         exec(@c1)        fetchnextfrom c1 into@c1    endclose c1deallocate c1 2. ...

  7. C#编程（四十四）----------string和stringbuilder

    System.String类 首先string类是静态的,System.String是最常用的字符串操作类,可以帮助开发者完成绝大部分的字符串操作功能,使用方便. 1.比较字符串 比较字符串是指按照字 ...

  8. 【IntelliJ IDEA】idea或者JetBrains公司所有编辑器，设置其软件的字体样式

    操作如下: 修改完成后的效果: 可以看到修改以后的ide的效果:

  9. dotnetty 心跳

    IdleStateHandler 需要提供三个参数: readerIdleTimeSeconds, 读超时. 即当在指定的事件间隔内没有从 Channel 读取到数据时, 会触发一个 READER_I ...

  10. 老美的zxing和日本的qrcode哪个好?

    ZXing用Java实现的多种格式的1D/2D条码图像处理库,Zxing库的主要部分支持以下几个功能:核心代码的使用.适用于J2SE客户端的版本.适用于Android客户端的版本(即BarcodeSc ...