Deformable DETR (ICLR2021)

Pre-Trained Image Processing Transformer

paper：https://arxiv.org/abs/2010.04159

code：https://github.com/fundamentalvision/Deformable-DETR

基于洗漱空间采样的注意力机制：利用Deformable convolution（将固定形状的卷积过程改造成了能适应物体形状的可变的卷积过程，从而使结构适应物体形变的能力更强）对感受野上的每一个点加一个偏移量，偏移的大小是通过学习得来的，偏移后感受野不再是个正方形，而是和物体的实际形状相匹配。这么做的好处就是无论物体怎么形变，卷积的区域始终覆盖在物体形状的周围。

这篇论文提出了一个可变形注意力模块用来代替传统transformer中的attention module，只关注特征中的一部分关键位置。

Step1: 利用CNN获取多尺度特征（针对不同特征层的特征点可能拥有相同的位置编码，就无法区分他们，为了解决这个问题，增加一个'scale-level embedding'，它是可学习的，仅用于区分不同的特征层，也就是同一特征层中的所有特征点会对应相同的scale-level embedding。可以这么理解，每个班级都有个叫小明的同学，如果只看姓名的话，就无法区分，现在加上了班级就可以明确区分了）

Step2: 变形注意力机制与传统self-attention的区别是query不是和全局每个位置的key都计算注意力权重，而是对于每个query，仅在全局位置中采样部分位置的key，并且value也是基于这些位置进行采样插值得到的，最后将这个局部&稀疏的注意力权重施加在对应的value上。

Step3: Decorder部分与Transformer中主要的区别在于使用可变形注意力替代了原生的交叉注意力。类似地，每层的解码过程是self-attention+cross-attention+ffn，下一层输入的object query是上一层输出的解码特征

提出的两点提升性能的策略：1. Iterative Bounding Box Refinement 使用bbox检测头部对解码特征进行预测，得到相对于参考点(boxes or points)的偏移量，然后加上参考点坐标（先经过反sigmoid处理，即先从归一化的空间从还原出来），最后这个结果再经过sigmoid（归一化）得到校正的参考点，供下一层使用

2.two-stages 在原始 DETR 中，decoder中的目标查询与当前图像无关。 受两阶段目标检测器的启发，用于生成区域建议（region proposals）作为第一阶段。 生成的区域提议将作为目标查询输入decoder进行进一步细化，形成两阶段可变形 DETR。