Dilated Neighborhood Attention Transformer概述

0.前言

• 相关资料：

  • arxiv

  • github

  • 论文解读

• 论文基本信息：

• 发表时间：arxiv2022(2022.9.29)

1.针对的问题

　　之前的方法通过局部注意力机制来降低计算复杂度，但这削弱了自注意力的两个最理想特性:长程相互依赖建模和全局感受野。

2.主要贡献

　　•引入DiNA，一个简单、灵活和强大的稀疏全局注意力模式，它允许感受野指数增长，并捕获更长的上下文，而无需任何额外的计算负担。DiNA做到了这一点，同时保持了NA中引入的邻域的对称性。它还可以适应更大的分辨率，而无需扩展到更大的窗口尺寸。

　　•分析基于卷积，局部注意力和基于DiNA的模型中的理论感受野大小。

　　•引入DiNAT，一种新的分层视觉transformer，包括邻域注意力的膨胀和非膨胀变种。DiNAT利用了模型的渐进膨胀变化，更优化地扩展了感受野，有助于从细到粗的特征学习。

　　•使用DiNAT对图像分类、目标检测、实例和语义分割进行了广泛的实验，发现它在下游任务中比基于注意力和卷积的基线有明显的改善。此外，我们研究了各向同性和混合注意力变量，使用ImageNet-22K预训练的缩放实验，以及不同膨胀值的影响。

　　•通过增加膨胀支持和bfloat16使用能力，扩展NATTEN, 即NA对PyTorch的CUDA扩展，允许该方向的研究扩展到其他任务和应用。

3.方法

　　其实就是把膨胀卷积(空洞卷积)与作者之前的工作邻域注意力(NA)相结合，得到DiNA(Dilated Neighborhood attention)，这是一种灵活而强大的稀疏全局注意力机制。它存在3个优点：1.捕获了更多的全局上下文。2.允许感受野指数增长。3.没有额外计算成本。Swin与DiNAT对比如下：

　　公式定义与自注意力类似，就是计算局限于邻域，DiNA的计算与NA类似，在NA中，如果ρ_j(i)表示token i的第j个最近邻，则在DiNA中，给定一个膨胀值δ，简单地将ρ^δ_j(i)定义为token i的第j个最近邻，满足：j mod δ = i mod δ。然后就可以将邻域大小为k的第i个token的δ膨胀率邻域注意力A_i^(k,δ)定义为：

　　

　　与上面类似得到

                   

　　模型结构如下，与NAT模型相同：

4.补充

　　1.其实在NA之前就已经有类似卷积的注意力相关工作SASA了，但是效果却并不好，运行速度很慢，之前的观点普遍认为像这种注意力操作被认为效率极低且难以并行化，这也是Window Self Attention背后的动机之一，NA开始也存在同样的限制，即缺乏有效的实现，因为当时的深度学习或CUDA库都没有直接实现这样的操作，也是在NATTEN(邻域注意力CUDA扩展)出现之后在表现出效果。

　　2.论文中提到Swin由于其特殊的移位窗口设计，相比NAT和ConvNeXt拥有略大的接受域，但它打破了一个重要的属性:对称性。由于Swin的特征映射被划分为不重叠的窗口，同一窗口内的像素只关注彼此，而不考虑它们的位置(无论是在中心还是角落)，这导致一些像素在周围看到不对称的上下文。