Pytorch-均方差损失函数和交叉熵损失函数

均方差损失函数mse_loss()与交叉熵损失函数cross_entropy()

1.均方差损失函数mse_loss()

均方差损失函数是预测数据和原始数据对应点误差的平方和的均值。

\[MSE=\frac{1}{N}( y^`−y)^2
\]

N为样本个数，y'为预测数值，y为正确数值。

代码实例：

import torch
import torch.nn.functional as F

if __name__ == '__main__':
    data=torch.tensor([1.0,3.0])
    loss=F.mse_loss(torch.tensor([1.0,1.0]),data)
    print(loss)
    # [(1-1)^2+(3-1)^2]/2  = 2

    data1=torch.tensor([2.0,3.0])
    loss=F.mse_loss(torch.tensor([1.0,1.0]),data1)
    print(loss)
    # [(2-1)^2+(3-1)^2]/2  = 2.5

输出结果

tensor(2.)
tensor(2.5000)

2.交叉熵损失函数cross_entropy()：相比mse_loss()梯度更大了，优化更快了

先引入熵的概念，熵是衡量分布是否稳定的一个概念，衡量一个分布的信息熵的计算公式如下：log默认以2为底

\[Entropy(p)=-\sum_{i=1}^{n} p(i)log p(i)
\]

衡量一个分布的信息熵的实例化代码如下：

import torch

if __name__ == '__main__':
    # 交叉熵一般用于分类问题，如果下面四个数据代表四个类别的比例，
    # 四个类别的比例都相同，这里的熵很高，就不容易判断。
    data=torch.tensor([0.25,0.25,0.25,0.25])
    # 输出熵
    print('data的熵为',-(data*torch.log2(data)).sum())
    # 熵越高，越不容易确定

    # 第四个类别的比例为0.97，这里的熵也很低，就比较容易确定。
    data1=torch.tensor([0.01,0.01,0.01,0.97])
    # 输出熵
    print('data1的熵为',-(data1*torch.log2(data1)).sum())
    # 熵越低，越容易确定

输出结果

data的熵为 tensor(2.)
data1的熵为 tensor(0.2419)

衡量两个分布的交叉熵的计算公式如下：

\[Entropy(p,q)=-\sum_{i=1}^{n} p(i)log q(i)=Entropy(p)+D_{kl}(p|q)
\]

交叉熵（p,q）=信息熵（p）+相对熵（p|q）,相对熵又称为kl散度,散度越小，p分布和q分布就越接近 p(i)代表的是正确值 q(i)代表的是预测值

交叉熵损失函数经常出现在分类问题中，因为分类问题需要计算各类别的概率，所以交叉熵损失函数经常与sigmoid()和softmax()激活函数搭配使用。

pytorch中cross_entropy()函数的简单使用,pytorch中cross_entropy()=softmax()+log()+nll_loss()

import torch
import torch.nn.functional as F
if __name__ == '__main__':
    x=torch.randn(1,784)
    w=torch.randn(10,784)

    logits=x@w.t()
    # logits.shape=([1,10])

    pred=F.softmax(logits,dim=1)
    pred_log=torch.log(pred)
    print(F.nll_loss(pred_log,torch.tensor([1])))

    # cross_entropy(input, target)
    print(F.cross_entropy(logits,torch.tensor([1])))

输出结果

tensor(62.0603)
tensor(62.0603)