Theano入门神经网络(四)

这一部分主要介绍用Theano 实现softmax函数。

在多分类任务中经常用到softmax函数，首先上几个投影片解释一下

假设目标输出是y_hat ，激活函数后的Relu y 一个是1.2 一个是2 ，到底哪一个更好一点 是1.2与1 更加接近？还是2 意味这更大的概率呢？

基于这个原因，我们提出了softmax

将得到的输出进行指数运算，转化为其概率。越大的数值，代表其类别的可能性越大。

上个代码：

 x= T.vector();
 W= T.matrix();
 z = T.dot(W,x)
 #y = 1.0/(1.0+np.exp(-z))
 y = np.exp(z)/T.sum(np.exp(z), axis=0) # 0  是按列 1 是按行
 log_activation = theano.function(inputs=[W,x],outputs=y)

 x = np.array([1 ,1.4 ,1.5],dtype=theano.config.floatX)
 W = np.array([[1.1,1.2,1.3],[0.1,0.2,0.4],[0.2,0.5,2.1]],dtype=theano.config.floatX)

 for i in range(x.shape[0]):
    print '第 %d 的 log_activation 的输出是 %.2f ' %( i+1, log_activation(W,x)[i])

 c=log_activation(W,x)
 y_class = np.argmax(c,axis=0)
 print y_class+1

一般来说 softmax 函数和 交叉熵损失一起使用