SQR-DETR：基于选择性查询回忆的查询式目标检测增强训练
论文
SQR-DETR 是一种针对基于查询的目标检测器（如 DETR）提出的增强训练策略。它通过选择性地回忆和利用中间阶段的查询（queries），显著提升了模型在最终解码阶段的性能，同时保持了推理过程不变。相关论文和代码已开源，可在以下链接查看：
文章解析
1. 研究背景
基于查询的目标检测器（如 DETR）通过将目标检测视为一个集合预测问题，使用 Transformer 架构逐步优化查询，从而实现目标的定位和分类。然而，这些模型在训练过程中存在两个主要问题：
- 训练重点不足：所有解码阶段的监督信号是均匀分配的，没有特别强调后期阶段的训练，导致后期阶段的预测精度不够高。
- 级联误差：由于解码器的顺序结构，中间阶段的查询无论优化结果如何都会传递给后续阶段，这可能导致误差累积，影响最终预测。
2. SQR（Selective Query Recollection）策略
为了解决上述问题，SQR 策略被提出。SQR 的核心思想是：
- 累积中间查询：在解码阶段逐步深入时，累积中间阶段的查询。
- 选择性传递：将这些中间查询选择性地传递给下游阶段，而不是仅仅依赖于顺序结构。
通过这种方式，SQR 实现了以下两个关键特性：
- 增强后期阶段的监督信号：后期阶段的监督信号呈几何级数增长，例如第六阶段的监督信号是第一阶段的 32 倍。
- 缓解级联误差的影响：后期阶段可以直接看到早期阶段的输出，从而减少级联误差的潜在影响。
3. 实验结果
在 MS-COCO 数据集上的实验表明，SQR 能够显著提升多种基于查询的目标检测器的性能：
- Adamixer：AP 从 42.5 提升到 44.4，提升了 1.9 个百分点。
- DAB-DETR：AP 从 42.2 提升到 44.5，提升了 2.3 个百分点。
- Deformable DETR：AP 从 37.2 提升到 39.9，提升了 2.7 个百分点。
此外，SQR 在不同的训练设置（如不同的骨干网络、查询数量和训练周期）下均表现出一致的性能提升。
4. 优势总结
SQR 的主要优势包括：
- 性能提升显著：在不改变推理流程的前提下，显著提升了模型的最终性能。
- 计算效率高：通过选择性传递查询，减少了计算负担，相比密集查询回忆（DQR）更加高效。
- 灵活性强：可以轻松集成到现有的基于查询的目标检测器中，无需对模型结构进行重大修改。
视频
以下视频提供了 SQR-DETR 的论文和源码介绍：