DEYOv2: Rank Feature with Greedy Matchingfor End-to-End Object Detection

经典检测器有一个共同点，它们严重依赖手工制作的组件，如非极大值抑制（
NMS
）。因为这些检测算法通常输出多个候选边界框，每个边界框对应于可能存在对象的区域。然而，这些候选框之间往往存在重叠或冗余，需要进行筛选和优化。

尽管
NMS
是一种有用的对象检测算法，但它确实有一些局限性。有一个问题是，他
可能会无意中删除与
得分最高的边界框明显重叠的边界框
，
尤其是在对象密集或大小相似的区域
。此外，
NMS
的有效性可能会受到所选IoU
阈值的影响，这可能会导致检测结果的显著变化。在稀疏场景中，它可能会成为经典检测器的性能瓶颈。

检测转换器
DETR
提出了一种创新的基于转换器的对象检测器，该检测器利用了基于转换器的编码器
–
解码器框架。DETR
不依赖
NMS
的手动组件，而是使用匈牙利损失来预测一对一的对象集
，带来端到端优化。NMS
在拥挤场景中表现不佳，因为它只根据
IoU
和类别简单信息对对象进行集群，
可能会将大小相
似的不同对象分组为一组
。相反，
DETR
利用查询之间的交互来利用更复杂的信息并区分它们之间的关系。与NMS
相比，这种方法使
DETR
预测一对一对象集的策略更加合理，
从而在拥挤场景中比使用
NMS
的经典检测器具有更好的性能。

尽管
DETR
引起了研究界的极大兴趣，但它也存在许多问题。首先，应该注意的是，
DETR
的收敛速度很慢，需要500
个训练
epoch
才能获得可接受的性能。然而，
DEYO
算法从循序渐进的思想中获得了灵感，

为改进
DETR
提供了一个新的视角。
DEYO
使用低成本和高质量
YOLO
预测作为第二阶段
DETR-like
模型
的输入，以降低
DETR-like
模式预测一对一对象集的难度。
DEYO
结合了经典检测和基于查询的检测器各自的优势，从而提高了整体性能。同时，
DEYO
也发现了一对一标签分配的局限性
。由于
DETR
使用一对一匹配，因此采用了建立分数差距的策略来抑制冗余的边界框
。这意味着
解码器需要对查询之间的关系
进行建模，并区分最佳和冗余边界框
。
DEYO
的实验表明，解码器在处理大量几乎相似的冗余边界框方面非常弱。随着proposal
查询的拥塞增加，性能逐渐降低，甚至在不使用
NMS
时训练崩溃。如图
3
所示，随着IoU
阈值的升高，这意味着拥塞增加的查询被输入解码器，性能也会下降，并且当不使用
NMS时，服务器托管网AP
会骤降至
0
。我们发现，在后处理中使用具有低
IoU
阈值的
NMS
并不能缓解这种性能下降。这表明影响最终性能的不仅仅是冗余边界框，但是丰富的bounding box
也严重阻碍了探测器在训练过程中的训练和优化。上述现象表明，基于查询的检测器的过滤能力有限，其对边界框的抑制策略不好，并且对查询初始化有严格要求，这在一定程度上限制了基于查询检测器的设计。DEYO
简单地通过使用
NMS
过
滤掉冗余的边界框来解决这个问题
，但如图
9
所示，由于
NMS-IoU
阈值的降低，第一阶段的有效信息损失更大，这不仅破坏了DETR
的端到端优势，还限制了第一阶段的高效信息传输。就像经典的探测器一样，这个问题在拥挤的场景中会加剧。那么，有没有一种方法可以减少信息丢失，实现更优雅，并避免冗余边界框引起的优化？DEYOv2
通过引入
Rank
特征和贪婪匹配
来解决上述问题。
Rank
特征是指通过
置信度对边界框进行排序并通过嵌入进行编码后的
Rank
特征
。将其添加到解码器的查询中，可以使检测器更容易地学习到非极大值抑制策略，从而使检测器面临拥挤的环境。边界框仍然可以保持良好的过滤 效果。贪婪匹配可以不使用额外的标签，使用
GT
作为基准，对每个边界框进行聚类和监督，并引导模型
从每个类中选择具有最大
Rank
的边界框来保留
。
Rank
特征和贪婪匹配启用
DEYOv2
在从一对多标签分配到一对一标签分配的过度过程中摆脱对NMS
的依赖，它解决了
Transformer
编码器在过滤冗余边界框以实现端到端优化时遇到的优化问题。

在本文中，我们提出了一种称为
DEYOv2
的三阶段对象检测网络的新范式，据我们所知，它是第一个完全端到端的检测器，它结合了经典检测器和基于查询的对象检测器的各自优势。因此，我们的DEYOv2成为端到端目标检测器的新技术。