04 自适应Decoder层数：为什么6层不是最优解，以及如何动态裁剪老伙计，还记得上篇我们聊的轻量级候选区域生成器吗？它让小目标AP涨了7个点，但代价是Decoder的推理负担又重了一分。有读者私信我：“我照着你的方案改了，精度是上去了，但推理速度慢了15%，老板说再这样下去就要换模型了。”这让我想起上个月帮一家自动驾驶公司做优化时的场景。他们的工程师小李盯着RT-DETR的Decoder输出，满脸困惑：“我试过4层、6层、8层，6层精度最高，但速度刚好卡在30fps的边缘。能不能让模型自己决定用几层？” 我看了看他的实验记录，笑了——这正是我们今天要解决的问题：在RT-DETR中，6层Decoder不是金标准，冗余层反而会拖累精度。痛点拆解：Decoder层数越多，精度一定越高吗？大多数人的直觉是：Decoder层数越多，特征交互越充分，精度越高。但RT-DETR的交叉注意力机制有个隐藏陷阱——过深的Decoder会导致注意力分散。当层数超过某个阈值后，后续层学到的特征越来越趋同，甚至开始“遗忘”早期层捕捉到的关键信息。我见过一位读者这样写：# 反例：固定6层Decoder，盲目堆叠class