深度学习基础系列（四）| 理解softmax函数

　　深度学习最终目的表现为解决分类或回归问题。在现实应用中，输出层我们大多采用softmax或sigmoid函数来输出分类概率值，其中二元分类可以应用sigmoid函数。

　　而在多元分类的问题中，我们默认采用softmax函数，具体表现为将多个神经元的输出，映射到0 ~ 1的区间中，按概率高低进行分类，各概率之和为1。

　　某分类的概率数学表达式为：y_i = eⁱ / ∑_j=1e^j  

　　具体来说，假设有四个输出单元，分别为：

• 　　y₁ = e^x1 / (e^x1 + e^x2 + e^x3 + e^x4 )，假设其概率为0.4
• 　　y₂ = e^x2/ (e^x1 + e^x2 + e^x3 + e^x4 )，假设其概率为0.15
• 　　y₃ = e^x3/ (e^x1 + e^x2 + e^x3 + e^x4 )，假设其概率为0.15
• 　　y₄= e^x4/ (e^x1 + e^x2 + e^x3 + e^x4 )， 假设其概率为0.3

　　可以看出 y₁ + y₂ + y₃ + y₄ = 1。并且其中某神经元的输出若增加，则其他神经元的输出则减少，反之也成立。

　　最后再看看softmax函数如何求导，令y = e^xi / ∑e^xk ，分两种情况：

　　1. i为softmax值，我们对e^xi 求导，

　　    与此相关的基础求导公式：(u/v)^' = (u^' v - uv^') / v² 和  (e^x)^' = e^x ，并应用链式法则可得求导过程：

　　　dy/de^xi = ( e^xi / ∑e^xk)^' 

　　　　　　 =  (e^xi * ∑e^xk  - e^xi * e^xi ) / (∑e^xk)² 

　　　　　　 =  e^xi / ∑e^xk   -  (e^xi / ∑e^xk ) * (e^xi / ∑e^xk )

　　　　　　 = y_xi - y_xi²

　　2. i不为softmax值，我们依然对e^xi 求导，其过程为：

　　　dy/de^xi =  ( e^xj / ∑e^xk)^'     注：i ≠ j

　　　　　　 = (0 * ∑e^xk - e^xj * e^xi) / (∑e^xk)² 

　　　　　　 = -1 * (e^xi / ∑e^xk ) * (e^xj / ∑e^xk)

　　　　　　 = - y_xi * y_xj