DECO：基于查询的端到端目标检测框架
https://github.com/xinghaochen/DECO https://arxiv.org/abs/2312.13735 https://ieeexplore.ieee.org/document/10528472
概述
DECO（DEtection ConvNet）是一种基于查询的端到端目标检测框架，完全使用卷积网络（ConvNets）构建，而无需复杂的Transformer架构。DECO在保持与DETR类似的端到端检测能力的同时，显著提高了运行速度，并且更加适合在现代硬件平台上部署。
研究背景
目标检测是计算机视觉中的一个基础任务，广泛应用于自动驾驶、安防监控、图像识别等领域。近年来，基于Transformer的目标检测方法（如DETR及其变体）取得了显著的进展，但这些方法通常依赖于复杂的注意力机制，导致计算成本较高，难以在实时应用中高效部署。与此同时，卷积网络（ConvNets）在图像分类等任务中表现出色，并且在硬件平台上具有更高的效率。因此，探索一种基于卷积网络的端到端目标检测框架具有重要的研究意义。
方法介绍
核心思想
DECO的核心思想是利用卷积网络实现类似于DETR的端到端目标检测。DECO框架由一个主干网络（Backbone）、一个卷积编码器（Encoder）和一个卷积解码器（Decoder）组成。DECO通过引入一组固定的对象查询（Object Queries），直接输出一组固定数量的目标预测，从而避免了传统的非极大值抑制（NMS）后处理步骤。
架构设计
编码器（Encoder）
DECO的编码器基于ConvNeXt块构建，这些块由深度可分离卷积（Depthwise Convolution）和逐点卷积（Pointwise Convolution）组成。编码器将输入图像的特征图逐步下采样，生成具有丰富语义信息的特征表示。
解码器（Decoder）
DECO的解码器是框架的核心部分，负责将对象查询与图像特征进行交互，从而生成最终的目标预测。解码器由多个层组成，每层包含两个模块：
- 自交互模块（Self-Interaction Module, SIM）：通过深度可分离卷积对对象查询进行特征提取，增强对象查询之间的信息交互。
- 交叉交互模块（Cross-Interaction Module, CIM）：将对象查询与编码器生成的图像特征进行融合，通过卷积操作使对象查询能够捕获图像中的目标信息。
损失函数
DECO使用与DETR相同的损失函数，基于二分图匹配算法（如匈牙利算法）将预测目标与真实目标进行匹配，并计算分类损失、边界框回归损失和特征嵌入损失。
实验与结果
数据集
DECO在COCO 2017数据集上进行了广泛的实验，该数据集包含约118K张训练图像和5K张验证图像。
实验结果
与现有方法的比较
DECO在检测精度和运行速度上均表现出色。具体结果如下：
- 使用ResNet-50作为主干网络时，DECO在COCO验证集上达到了38.6%的平均精度（AP），运行速度为35 FPS。
- 使用ConvNeXt-Tiny作为主干网络时，DECO达到了40.8%的AP，运行速度为28 FPS。
与DETR相比，DECO在相同主干网络下取得了更高的AP，并且运行速度更快。此外，DECO在与YOLOS、Sparse R-CNN、OneNet等其他端到端检测器的比较中也表现出色，具有更高的检测精度和更快的运行速度。
DECO+的改进
DECO+是DECO的改进版本，引入了多尺度特征融合模块，进一步提升了检测性能。使用ResNet-50作为主干网络时，DECO+在COCO验证集上达到了47.8%的AP，运行速度为34 FPS。
优势与特点
纯卷积架构
DECO完全基于卷积网络构建，无需复杂的注意力模块，因此在硬件平台上具有更高的效率和更好的可部署性。
端到端检测
DECO继承了DETR的端到端检测能力，通过对象查询直接输出固定数量的目标预测，避免了传统的NMS后处理步骤。
高效的特征交互
DECO的解码器通过自交互模块和交叉交互模块实现了对象查询与图像特征的有效交互，从而提高了检测精度。
多尺度特征融合
DECO+引入了多尺度特征融合模块，进一步提升了检测性能，尤其是在处理不同尺度目标时表现更为出色。
未来研究方向
尽管DECO在目标检测任务中取得了显著的成果，但仍有一些潜在的研究方向：
- 进一步优化解码器架构：探索更高效的解码器设计，以进一步提高检测精度和运行速度。
- 多尺度特征融合的改进：研究更先进的多尺度特征融合技术，以更好地处理不同尺度的目标。
- 与其他检测技术的结合：探索将DECO与其他目标检测技术（如锚点生成、注意力机制）结合的可能性，以进一步提升性能。