CU-DETR
CU-DETR 是一种面向 单目三维目标检测（Monocular 3D Object Detection） 的新型检测框架。该模型将 Transformer 架构（DETR 系列） 与 局部-全局特征增强机制（Context-Uniform Fusion） 相结合，从而有效弥补单目图像缺乏深度信息的劣势。
论文发表于 SPIE 2024，重点解决当前单目检测在距离估计准确性与目标边界定位方面的挑战。
✨ 模型亮点
🧩 1. 基于 DETR 的单目 3D 检测框架
CU-DETR 采用 DETR 结构作为主干框架，将目标检测任务建模为查询-匹配问题，避免复杂的后处理步骤（如 NMS）。
🧠 2. 上下文-均衡注意力机制（CU Attention）
引入 Context-Uniform Attention 模块，实现：
- 全局上下文信息建模（Contextual Attention）
- 局部细节信息增强（Uniform Attention）
该模块显著提升了目标的尺度适应性与空间表示能力。
🧱 3. 坐标回归与深度估计联合优化
在 Transformer 解码器端，CU-DETR 同时预测：
- 2D 边界框
- 3D 位姿参数（位置、方向、尺寸）
- 深度估计（Depth）
通过多任务损失函数联合训练，增强空间结构一致性。
🧪 技术细节
- Backbone：ResNet-50（可替换为更强的主干）
- Transformer 解码器：6 层标准结构
- 检测头输出：每个 query 输出 $(x, y, z, h, w, l, \theta)$ 以及类别概率
- 数据集：KITTI、nuScenes（实验使用 KITTI 为主）
📊 性能对比（KITTI 3D Detection）
CU-DETR 在 KITTI 数据集上的性能优于多种经典方法，特别是在中远距离目标的深度预测方面具有优势：
| 模型 | AP3D (Easy) | AP3D (Moderate) | AP3D (Hard) |
|---|---|---|---|
| MonoDLE | 17.2 | 12.3 | 10.3 |
| MonoFlex | 20.9 | 17.0 | 14.3 |
| CU-DETR | 23.6 | 19.5 | 15.7 |
🛠️ 模型结构简要流程
图像输入
↓
Backbone (ResNet)
↓
Transformer Encoder
↓
CU Attention (上下文 + 局部增强)
↓
Transformer Decoder
↓
3D检测头（7自由度框 + 分类）
📦 应用场景
- 🚗 自动驾驶感知系统：仅使用单目摄像头完成空间定位与目标检测。
- 🛠️ 机器人视觉导航：提升低成本系统的 3D 感知能力。
- 🛰️ 远距离遥感目标检测：对深度估计不敏感场景中的三维识别任务。
🔍 对比 DETR / MonoDETR
| 模型 | 类型 | 特点 |
|---|---|---|
| DETR | 2D 检测 | 基于 Transformer 的端到端目标检测 |
| MonoDETR | 单目 3D | 加入立体几何建模，支持 3D box 输出 |
| CU-DETR | 单目 3D | 加入上下文融合机制（CU 模块），提升深度精度和结构感知 |