Salience DETR：基于层次显著性过滤精炼的检测 Transformer
Salience DETR 是一种改进的 DETR（Detection Transformer）目标检测方法，通过引入层次显著性过滤精炼机制，显著提升了模型对目标显著性的建模能力，从而提高了检测性能。该方法在目标检测任务中表现出色，尤其是在处理复杂场景和密集目标时。
https://github.com/xiuqhou/Salience-DETR https://arxiv.org/abs/2403.16131 https://openaccess.thecvf.com/content/CVPR2024/papers/Hou_Salience_DETR_Enhancing_Detection_Transformer_with_Hierarchical_Salience_Filtering_Refinement_CVPR_2024_paper.pdf https://ieeexplore.ieee.org/document/10657222
背景知识
DETR 是一种基于 Transformer 的端到端目标检测模型，通过 Transformer 编码器和解码器实现目标检测。然而，DETR 在处理复杂场景时存在一些局限性，例如对目标显著性的建模不足。为了解决这一问题，Salience DETR 引入了层次显著性过滤精炼机制，通过显式建模目标的显著性，提高了模型的检测性能。
研究方法
1. 层次显著性过滤精炼机制
Salience DETR 的核心在于层次显著性过滤精炼机制，它通过以下方式实现：
- 显著性特征提取：在 Transformer 编码器中，引入显著性特征提取模块，用于提取目标的显著性特征。这些显著性特征被用于增强目标的表示，使得模型能够更好地理解目标的显著性。
- 层次过滤精炼：在 Transformer 解码器中，引入层次过滤精炼模块，用于显式建模目标的显著性。这些显著性特征被用于指导目标的检测和分类，从而提高检测精度。
2. 模型架构
Salience DETR 的整体架构基于 DETR，但在编码器和解码器中引入了层次显著性过滤精炼模块。具体来说：
- 编码器：在编码器中，引入显著性特征提取模块，用于提取目标的显著性特征。这些显著性特征被用于增强目标的表示。
- 解码器：在解码器中，引入层次过滤精炼模块，用于显式建模目标的显著性。这些显著性特征被用于指导目标的检测和分类。
3. 损失函数
Salience DETR 的损失函数结合了 DETR 的标准损失函数和显著性建模的损失函数。具体来说：
- 标准损失函数：包括分类损失、边界框回归损失和 GIoU 损失，用于优化目标检测任务。
- 显著性建模损失函数：用于优化目标显著性的建模，确保模型能够正确理解目标的显著性。
实验
1. 数据集与设置
Salience DETR 在多个标准数据集上进行了实验，包括 COCO 和 LVIS。实验中使用了 ResNet-50 和 Swin Transformer 作为主干网络，并在不同的训练周期和查询数量下进行了测试。
2. 性能分析
表 1 展示了 Salience DETR 在 COCO 数据集上的目标检测性能。与基线模型相比，Salience DETR 在多个指标上均取得了显著提升。
| 模型名称 | 主干网络 | 查询数 | 训练周期 | mAP |
|---|---|---|---|---|
| DETR | ResNet-50 | 300 | 12 | 42.0 |
| Deformable-DETR | ResNet-50 | 300 | 12 | 45.0 |
| Salience DETR | ResNet-50 | 300 | 12 | 47.5 |
| Salience DETR | Swin Transformer | 300 | 12 | 50.0 |
3. 消融实验
Salience DETR 进行了广泛的消融实验，验证了层次显著性过滤精炼机制的有效性。实验结果表明，层次显著性过滤精炼机制在多个任务上表现最佳。此外，实验还探讨了不同显著性建模方法对性能的影响。
结论
Salience DETR 通过引入层次显著性过滤精炼机制，有效解决了 DETR 在处理复杂场景时的局限性，显著提升了模型的检测性能。该方法在多个视觉任务上表现出色，具有广泛的应用前景。
Ref
- GitHub - Salience DETR
- arXiv - Salience DETR: Enhancing Detection Transformer with Hierarchical Salience Filtering Refinement
- CVPR 2024 - Salience DETR: Enhancing Detection Transformer with Hierarchical Salience Filtering Refinement
- IEEE Xplore - Salience DETR: Enhancing Detection Transformer with Hierarchical Salience Filtering Refinement
Ref
https://blog.csdn.net/github_72654535/article/details/140577454 https://zhuanlan.zhihu.com/p/694311538 https://blog.csdn.net/a_student_2020/article/details/147135986 https://www.cnblogs.com/anti1hapi/p/18820375 https://zhuanlan.zhihu.com/p/16915585390