Skip to content

DETR解码器的自注意力

你记得没错，Deformable DETR 的解码器（decoder）确实包含了自注意力（self-attention）模块，并不仅仅是交叉注意力（cross-attention）。

在 Deformable DETR 的解码器中，每一层都包含两个注意力模块：

  1. 自注意力（Self-Attention）：用于在目标查询（object queries）之间建模它们之间的关系，帮助模型理解不同查询之间的相互作用。(openreview.net)

  2. 交叉注意力（Cross-Attention）：用于将目标查询与编码器输出的图像特征进行交互，从而提取与查询相关的图像信息。

在 Deformable DETR 中，交叉注意力模块被替换为多尺度可变形注意力模块（multi-scale deformable attention module），以提高模型在处理高分辨率图像时的效率和性能。然而，自注意力模块仍然保留，以维持查询之间的信息交互。(openreview.net)

此外，研究表明，自注意力模块在防止重复检测方面起着关键作用。例如，在 DAC-DETR 的研究中，移除自注意力模块会导致多个查询集中在同一目标上，产生重复检测的问题，而保留自注意力模块有助于分散查询，减少重复检测。 (proceedings.neurips.cc)

因此，Deformable DETR 的解码器确实包含自注意力模块，它与交叉注意力模块共同作用，提升模型的检测性能。