Pytorch常用的交叉熵损失函数CrossEntropyLoss()详解

本篇借鉴了这篇文章，如果有兴趣，大家可以看看：https://blog.csdn.net/geter_CS/article/details/84857220

1、交叉熵：交叉熵主要是用来判定实际的输出与期望的输出的接近程度

2、CrossEntropyLoss()损失函数结合了nn.LogSoftmax()和nn.NLLLoss()两个函数。它在做分类（具体几类）训练的时候是非常有用的。

3、softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！

其公式如下：

numpy计算代码：

import numpy as np
z = np.array([1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 3.0])
print(np.exp(z)/sum(np.exp(z)))

4、LogSoftmax能够解决函数上溢和下溢的问题,加快运算速度,提高数据稳定性。

其计算公式：

M是max(x_i),这样可以解决上溢下溢的问题.(但这样输出概率和就不是1了)

代码：

import torch
x = torch.Tensor([-4, 2, -3.2, 0, 7])
softmax = torch.exp(x)/torch.sum(torch.exp(x))
print("softmax\n",softmax)
print("sum:",torch.sum(softmax))
LogSoftmax = torch.log(softmax)
print("LogSoftmax\n",LogSoftmax)
print("sum:",torch.sum(LogSoftmax))

结果：

5、NllLoss:即负对数似然损失函数(Negtive Log Likehood)。

公式：

其中 y_i 是one_hot编码后的数据标签,NLLLoss()得到的结果即是 y_i 与logsoftmax()激活后的结果相乘再求均值再取反。（实际在用封装好的函数时,传入的标签无需进行one_hot编码）

代码：

import torch
import torch.nn.functional as F
import torch.nn as nn
x = torch.randn(5,5)
print("x:\n",x)
target = torch.tensor([0,2,3,1,4])
one_hot = F.one_hot(target).float()
print("one_hot:\n", one_hot)
softmax = torch.exp(x)/torch.sum(torch.exp(x), dim=1).reshape(-1,1)
print("soft_max:\n",softmax)
LogSoftmax = torch.log(softmax)
nllloss = -torch.sum(one_hot*LogSoftmax)/target.shape[0]
print("nllLoss:",nllloss)
#利用torch.nn.funcation实现
logsoftmax = F.log_softmax(x, dim=1)
nllloss = F.nll_loss(logsoftmax, target)
print("torch_nllLoss:",nllloss)

#直接用torch.nn.CrossEntropyLoss验证
cross_entropy = F.cross_entropy(x, target)
print("cross_entropy:",cross_entropy)

结果：

5、没有权重的损失函数的计算如下：

有权重的损失函数的计算如下：

注意这里的标签值class，并不参与直接计算，而是作为一个索引,索引对象为实际类别

6、交叉熵损失（CE）和负对数极大似然估计（NLL）的关系：交叉熵是定义在两个one-hot向量之间的，更具体地说是定义在两个概率向量之间nll是定义在一个模型上的，取决于模型本身可以取不同的形式。

似然函数：都是指某种事件发生的可能性，但是在统计学中，“似然性”和“概率”（或然性）有明确的区分：概率，用于在已知一些参数的情况下，预测接下来在观测上所得到的结果；似然性，则是用于在已知某些观测所得到的结果时，对有关事物之性质的参数进行估值，也就是说已观察到某事件后，对相关参数进行猜测。

下图出处：

举个栗子，我们一共有三种类别，批量大小为1（为了好计算），那么输入size为（1,3），具体值为torch.Tensor([[-0.7715, -0.6205,-0.2562]])。标签值为target = torch.tensor([0])，这里标签值为0，表示属于第0类。loss计算如下：

import torch
import torch.nn as nn
import numpy as np
entroy = nn.CrossEntropyLoss()
input = torch.Tensor([[-0.7715,-0.6205,-0.2562]])
target = torch.tensor([0])
output = entroy(input,target)
print(output) #采用CrossEntropyLoss计算的结果。
myselfout = -(input[:,0])+np.log(np.exp(input[:,0])+np.exp(input[:,1])+np.exp(input[:,2])) #自己带公式计算的结果
print(myselfout)
lsf = nn.LogSoftmax()
loss = nn.NLLLoss()
lsfout = lsf(input)
lsfnout = loss(lsfout,target)
print(lsfnout)

结果:

tensor(1.3447)
tensor([1.3447])
tensor(1.3447)

softmax

SoftMax