YOLO理解

一、YOLO v1

1、网络结构

（1）最后一层使用线性激活函数；

（2）其他各层使用leaky ReLU的激活函数：

2、Training

(1) 将原图划分为SxS的网格。如果一个目标的中心落入某个格子，这个格子就负责检测该目标，即Pr(object)=1。S取7；

(2) 每个网格要预测C个类别概率Pr(classi|object)，C为20（不需要表示背景这一类，因为这20类概率都为0即表示为背景）。用于训练用的每个网格类别标签为，如果实际bounding box的中心在该网格上，且是第i类，则对应位置的概率为1，其他类别概率为0，否则C个类的概率都为0；

(3) 每个网格要预测B个bounding box：(x, y, w, h)，论文中B取2。

关于(x,y,w,h)的定义不多说，看如下例子：

当某个格子含有object时，标签按上图方式计算。

（4）每个网格还要预测B个condidence：

如果格子内有物体，则Pr(Object)=1，此时置信度等于IoU。如果格子内没有物体，则Pr(Object)=0，此时置信度为0。当格子内有物体标签为1，没物体标签为0。（不知理解得是否正确）

（5）由于输入图像被分为SxS网格，每个网格包括B个bounding boxes，每个box有5个预测量：(x, y, w, h, confidence)，每个网格还有预测C个类别的概率，所以网络输出是SxSx(5xB+C)大小。

（6）损失函数：

这里注意以下几点：

1）表示第i个网格，第j个bounding box含有object，表示第i个网格，第j个bounding box不含有object，表示第i个网格含有object；

2）由于绝大部分网格中不包含目标，导致绝大部分box的confidence=0，所以在设计confidence误差时同等对待包含目标和不包含目标的box也是不合理的，否则会导致模型不稳定。所以在预测误差中乘以惩罚权重λnoobj=0.5。除此之外，同等对待4个值(x, y, w, h)的坐标预测误差与1个值的conference预测误差也不合理，所以在坐标预测误差误差之前乘以权重λcoord=5。

3）对于大的box的小误差肯定要比小box的小误差影响更小，于是，采用对w,h,x,y取平方根的做法，因为平方根函数的图像随着x的增大会变得平缓。

4）加入了这一项，有这个好处，可以让没有物体的情况下confidence的输出预测值为较低（接近0）。也就是说，上式的损失函数，可以同时训练让confidence高与让confidence低两种情况。

5）我们发现每一项loss的计算都是L2 loss，即使是分类问题也是。所以说yolo是把分类问题转为了回归问题。

3、Inference

（1）在test的时候，每个网格预测的class信息和B个bounding box预测的confidence信息相乘，就得到每个bounding box的class-specific confidence score:

等式左边第一项就是每个网格预测的类别概率，第二三项就是每个bounding box预测的confidence。这个乘积即表示box属于某一类的概率。

（2）得到每个box的class-specific confidence score以后，设置阈值，滤掉得分低的boxes，对保留的boxes进行NMS处理，就得到最终的检测结果。

（3）注意：

1）由于输出层为全连接层，因此在检测时，YOLO训练模型只支持与训练图像相同的输入分辨率。

2）虽然每个格子可以预测B个bounding box，但是最终只选择只选择IOU最高的bounding box作为物体检测输出，即每个格子最多只预测出一个物体。当物体占画面比例较小，如图像中包含畜群或鸟群时，每个格子包含多个物体，但却只能检测出其中一个。这是YOLO方法的一个缺陷。

4、疑惑及解答

（1）训练时7x7xB个bbox的初始位置怎么确定？

是根据各层的权重得到的，各层权重是随机初始化的，所以bbox的初始置是随机的。但bbox的中心点都在对应网格内。

（2）训练时，当某个网格始终没有被检测物体的中心点选中，是不是该网格的对应的参数永远不会被训练？

不会，因为在最后一层卷积层之后连接了两层全连接层，其他网格也会对当前网格有有影响的。

参考：

yolo回归型的物体检测 - Jinlong_Xu的博客 - CSDN博客  https://blog.csdn.net/jinlong_xu/article/details/77888100

理解 YOLO 目标检测-图文外翻-AI研习社  https://ai.yanxishe.com/page/TextTranslation/1168

end