CutLER：一种用于无监督目标检测和实例分割的方法

本文分享自华为云社区《CutLER：一种用于无监督目标检测和实例分割的方法》，作者：Hint。

目标检测是计算机视觉中的一种重要任务，使AI系统感知、推理、理解目标。训练定位模型需要特别的标注，比如目标的框、掩膜、定位点等。本文的工作研究了无监督的目标检测和实例分割，不使用人工标注。首先提出了MaskCut方法，可以自动的生成初始的粗糙掩膜，然后提出一种简单损失函数来帮助检测出MaskCut遗漏的目标。最后发现预测出的掩膜比初始的掩膜还要精细，因此可以迭代的训练检测器，进一步优化。

该方法的总体框架如上图所示，该模型首先使用了DINO[2]的自监督特征来生成二值掩膜，结合了Normalizes Cuts技术，改善了该技术中只能生成单个前景目标掩膜的缺陷，具体见公式2、3。这样就获得了一张图片中多个前景目标的粗糙掩膜。

然而在标准的检测训练损失函数中，会惩罚预测区域和ground truth区域不重叠的位置。这限制了检测器去发现新的目标，所以作者提出了一个新的损失函数，当预测和粗糙掩膜的IoU超过一定阈值时，该预测才参与loss的计算。最后作者采用了多轮次的迭代训练，进一步提升了模型的性能。

作者在多个数据集上进行实验，从以下的实验结果来看，该方法的性能在Zero-shot任务中达到SOTA效果，相比其他无监督方法提升效果显著，作者也证明了各个创新点的有效性。

可视化效果：

[1] Wang X, Girdhar R, Yu S X, et al. Cut and learn for unsupervised object detection and instance segmentation[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023: 3124-3134.

[2] Mathilde Caron, Hugo Touvron, Ishan Misra, Herv ́e J ́egou, Julien Mairal, Piotr Bojanowski, and Armand Joulin. Emerging properties in self-supervised vision transformers. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 9650–9660, 2021. 1, 2, 3, 4, 6, 12

点击关注，第一时间了解华为云新鲜技术~