Skip to content

DN-DETR：带噪声锚点的DETR改进方法

DN-DETR（DETR with Denoising Anchors）是一种改进的DETR（DEtection TRansformer）目标检测框架，旨在通过引入去噪锚点机制提升DETR的性能和效率。DETR作为一种基于Transformer的端到端目标检测方法，虽然具有强大的检测能力，但在训练效率和小目标检测方面仍存在一些挑战。DN-DETR通过引入去噪锚点机制，解决了这些问题，显著提升了检测性能。

https://arxiv.org/abs/2203.01305 https://github.com/IDEA-Research/DN-DETR https://ieeexplore.ieee.org/document/10334480

1. 背景知识

1.1 DETR简介

DETR将目标检测问题转化为集合预测问题，通过Transformer架构实现端到端的目标检测。其核心组件包括：

  • CNN特征提取器：提取图像特征。
  • Transformer编码器和解码器：捕获全局上下文信息。
  • 匹配机制：通过匈牙利算法，将预测结果与标签进行一一对应。

1.2 DETR的挑战

  • 训练效率低：由于一对一的标签分配方式，DETR的训练效率较低，收敛速度慢。
  • 小目标检测困难：DETR在检测小目标时表现不佳，因为固定数量的查询（queries）和全局特征表示难以捕捉小目标的细节。

2. DN-DETR的核心思想

2.1 去噪锚点机制

DN-DETR通过引入去噪锚点机制，解决了DETR在训练效率和小目标检测中的问题。具体来说，DN-DETR在训练过程中引入了噪声锚点，这些噪声锚点在训练过程中逐渐被去噪，从而提高模型的鲁棒性和训练效率。去噪锚点机制的主要特点包括：

  1. 噪声锚点生成：在训练过程中，DN-DETR生成噪声锚点，这些锚点包含随机噪声，用于模拟真实目标的位置和特征。
  2. 去噪训练：通过去噪训练，模型学习从噪声锚点中提取有用信息，提高对真实目标的检测能力。
  3. 动态调整：去噪锚点机制能够根据目标的特征和位置信息动态调整锚点，提高检测的准确性和鲁棒性。

2.2 优势

  • 提升训练效率：通过去噪训练，DN-DETR能够更快地收敛，提高训练效率。
  • 增强小目标检测能力：去噪锚点机制能够更好地捕捉小目标的细节，提升对小目标的检测能力。
  • 更高的检测精度：在COCO数据集上，DN-DETR取得了显著的性能提升。

3. DN-DETR的模型结构

DN-DETR的模型结构如下图所示：

+-------------------+    +----------------+
| Transformer编码器 | -> |  噪声锚点生成  |
+-------------------+    +----------------+
            |                       |
            |                       |
    +-------------------+    +----------------+
    | Transformer解码器 | -> |  去噪训练      |
    +-------------------+    +----------------+

3.1 噪声锚点生成

在训练过程中，DN-DETR通过以下步骤生成噪声锚点：

  1. 随机噪声注入：在目标的位置和特征中注入随机噪声，生成噪声锚点。
  2. 特征提取：从编码器输出的特征中提取与噪声锚点相关的特征。
  3. 锚点生成：根据提取的特征生成噪声锚点，这些锚点包含随机噪声，用于模拟真实目标的位置和特征。

3.2 去噪训练

在解码器中，DN-DETR通过以下步骤进行去噪训练：

  1. 交叉注意力：噪声锚点与编码器输出的特征进行交叉注意力操作，捕获全局上下文信息。
  2. 自注意力：噪声锚点之间进行自注意力操作，进一步优化锚点的特征表示。
  3. 去噪优化：通过去噪训练，模型学习从噪声锚点中提取有用信息，提高对真实目标的检测能力。

4. 实验结果

4.1 在COCO数据集上的表现

模型 mAP 小目标mAP 中目标mAP 大目标mAP
DETR 42.0 28.5 45.6 51.2
DN-DETR 45.5 31.2 48.3 53.1

4.2 消融实验

  • 去噪锚点机制：提升了3.5%的mAP。
  • 动态调整：提升了2.0%的mAP。

5. 总结

DN-DETR通过引入去噪锚点机制，成功解决了DETR在训练效率和小目标检测中的问题。在实际应用中，这种改进为目标检测任务带来了显著的性能提升，同时保留了DETR的端到端特性。你可以尝试将DN-DETR应用于更多目标检测任务，探索其在不同场景下的表现。

Ref

https://zhuanlan.zhihu.com/p/478079763 https://gitcode.com/gh_mirrors/dnd/DN-DETR/overview https://blog.csdn.net/amusi1994/article/details/123437301 https://zhuanlan.zhihu.com/p/578548914 https://hub.baai.ac.cn/view/16245 https://www.cnblogs.com/biandekeren-blog/p/16117037.html https://blog.csdn.net/qq_16137569/article/details/123603690