图像分割中的loss--处理数据极度不均衡的状况

序言：

对于小目标图像分割任务，一副图画中往往只有一两个目标，这样会加大网络训练难度，一般有三种方法解决：

1、选择合适的loss，对网络进行合理优化，关注较小的目标。

2、改变网络结构，使用attention机制。

3、类属attention机制，即先检测目标区域，裁剪后再分割训练。

场景：

现在以U-net网络为基础，使用keras进行实现小目标的分割。

Loss函数：

1、Log loss

对于二分类任务，log loss如下：

其中，yi为输入实例xixi​的真实类别, pi为预测输入实例 xi属于类别 1 的概率。对所有样本的对数损失表示对每个样本的对数损失的平均值。

这个loss函数每一次梯度的回传对每一个类别具有相同的关注度，所以容易受到类别不平衡的影响。

这种情况参照airbus-ship-detection。这个任务是检测海面上的船只，整个图片中大海占幅较大，所以采用一些技巧：使用montage拼接图片，对只有大海的图片进行采样来减少图片大小。

2、WCE loss(weighted cross-entropy)

带权重的交叉熵

二分类WCE：

这个loss的缺点时需要人为的调整困难样本的权重，增加调整难度。

3、Focal loss

能否使网络主动学习困难样本呢？

focal loss的提出是在目标检测领域，为了解决正负样本比例严重失调的问题。

focal函数公式：

对比上面其实就是多了 (1-pi)^r 。

loss值随样本概率变大而变小。

基本思想是，对于类别极度不平衡的情况下，网络如果在log loss下会倾向只预测负样本，并且负样本的预测概率会非常高，回传的梯度也很大。

但是如果添加了上述项，则focal 函数会使预测概率大的样本的loss变小，而预测概率小的样本的loss变大，从而加强了对正样本的关注度。

from keras import backend as K
'''
Compatible with tensorflow backend
'''
def focal_loss(gamma=2., alpha=.25):
    def focal_loss_fixed(y_true, y_pred):
        pt_1 = tf.where(tf.equal(y_true, 1), y_pred, tf.ones_like(y_pred))
            pt_0 = tf.where(tf.equal(y_true, 0), y_pred, tf.zeros_like(y_pred))
            return -K.sum(alpha * K.pow(1. - pt_1, gamma) * K.log(pt_1))-K.sum((1-alpha) * K.pow( pt_0, gamma) * K.log(1. - pt_0))
return focal_loss_fixed

model_prn.compile(optimizer=optimizer, loss=[focal_loss(alpha=.25, gamma=2)])

使用U-net输入输出都是一张图，直接使用会导致loss值很大。而且调参alpha和gamma也麻烦。

4、Dice loss

直观理解为两个轮廓的相似程度。

或则表示为：

二分类的dice loss:

def dice_coef(y_true, y_pred, smooth=1):
    intersection = K.sum(y_true * y_pred, axis=[1,2,3])
    union = K.sum(y_true, axis=[1,2,3]) + K.sum(y_pred, axis=[1,2,3])
    return K.mean( (2. * intersection + smooth) / (union + smooth), axis=0) 

def dice_coef_loss(y_true, y_pred):
    1 - dice_coef(y_true, y_pred, smooth=1)

使用dice loss有时会不可信，原因是对于sofemax或log loss其梯度简言之是p-t ，t为目标值，p为预测值。而dice loss 为 2t²  /  (p+t)²

如果p，t过小会导致梯度变化剧烈，导致训练困难。

5、IOU loss

类比dice loss，IOU函数公式：

def IoU(y_true, y_pred, eps=1e-6):
    if np.max(y_true) == 0.0:
        return IoU(1-y_true, 1-y_pred) ## empty image; calc IoU of zeros
    intersection = K.sum(y_true * y_pred, axis=[1,2,3])
    union = K.sum(y_true, axis=[1,2,3]) + K.sum(y_pred, axis=[1,2,3]) - intersection
    return -K.mean( (intersection + eps) / (union + eps), axis=0)

IOU loss的缺点呢同DICE loss是相类似的，训练曲线可能并不可信，训练的过程也可能并不稳定，有时不如使用softmax loss等的曲线有直观性，通常而言softmax loss得到的loss下降曲线较为平滑。

6、Tversky loss

Tversky loss使dice系数和jaccard系数的一种广义系数。

观察可得当设置α=β=0.5，此时Tversky系数就是Dice系数。

而当设置α=β=1时，此时Tversky系数就是Jaccard系数。

∣A−B∣则意味着是FP（假阳性），而∣B−A∣则意味着是FN（假阴性）；α和β分别控制假阴性和假阳性。通过调整α和β我们可以控制假阳性和假阴性之间的权衡。

def tversky(y_true, y_pred):
    y_true_pos = K.flatten(y_true)
    y_pred_pos = K.flatten(y_pred)
    true_pos = K.sum(y_true_pos * y_pred_pos)
    false_neg = K.sum(y_true_pos * (1-y_pred_pos))
    false_pos = K.sum((1-y_true_pos)*y_pred_pos)
    alpha = 0.7
    return (true_pos + smooth)/(true_pos + alpha*false_neg + (1-alpha)*false_pos + smooth)

def tversky_loss(y_true, y_pred):
    return 1 - tversky(y_true,y_pred)

def focal_tversky(y_true,y_pred):
    pt_1 = tversky(y_true, y_pred)
    gamma = 0.75
    return K.pow((1-pt_1), gamma)

7、敏感性-特异性loss

首先敏感性就是召回率，检测出确实有病的能力：

特异性，检测出确实没病的能力：

综合

其中左边为病灶像素的错误率即，1−Sensitivity，而不是正确率，所以设置λ 为0.05。其中(rn−pn)2是为了得到平滑的梯度。

8、Generalized dice loss

在使用DICE loss时，对小目标是十分不利的，因为在只有前景和背景的情况下，小目标一旦有部分像素预测错误，那么就会导致Dice大幅度的变动，从而导致梯度变化剧烈，训练不稳定。

当病灶分割有多个区域时，一般针对每一类都会有一个DICE，而Generalized Dice index将多个类别的dice进行整合，使用一个指标对分割结果进行量化。

GDL公式：

其中rln为类别l在第n个像素的标准值(GT)，而pln​为相应的预测概率值。此处最关键的是wl，为每个类别的权重。其中

这样，GDL就能平衡病灶区域和Dice系数之间的平衡。

def generalized_dice_coeff(y_true, y_pred):
    Ncl = y_pred.shape[-1]
    w = K.zeros(shape=(Ncl,))
    w = K.sum(y_true, axis=(0,1,2))
    w = 1/(w**2+0.000001)
    # Compute gen dice coef:
    numerator = y_true*y_pred
    numerator = w*K.sum(numerator,(0,1,2,3))
    numerator = K.sum(numerator)
    denominator = y_true+y_pred
    denominator = w*K.sum(denominator,(0,1,2,3))
    denominator = K.sum(denominator)
    gen_dice_coef = 2*numerator/denominator
    return gen_dice_coef

def generalized_dice_loss(y_true, y_pred):
    return 1 - generalized_dice_coeff(y_true, y_pred)

以上本质上都是根据评测标准设计的loss function，有时候普遍会受到目标太小的影响，导致训练的不稳定；对比可知，直接使用log loss等的loss曲线一般都是相比较光滑的。

9、BCE + dice loss（BCE : Binary Cross Entropy）

说白了，添加二分类交叉熵损失函数。在数据较为平衡的情况下有改善作用，但是在数据极度不均衡的情况下，交叉熵损失会在几个训练之后远小于Dice 损失，效果会损失。

import keras.backend as K
from keras.losses import binary_crossentropy
def dice_coef(y_true, y_pred, smooth=1):
    intersection = K.sum(y_true * y_pred, axis=[1,2,3])
    union = K.sum(y_true, axis=[1,2,3]) + K.sum(y_pred, axis=[1,2,3])
    return K.mean( (2. * intersection + smooth) / (union + smooth), axis=0)

def dice_p_bce(in_gt, in_pred):
    return 1e-3*binary_crossentropy(in_gt, in_pred) - dice_coef(in_gt, in_pred)