研究方向Image Captioning1.论文介绍视觉定位是将文本查询与图像内特定区域联系起来。现有方法通常依赖于大量的特定任务注释和微调限制了泛化能力。本文引入了定位代理GroundingAgent一种无需特定任务微调的代理性视觉定位框架。采用一种结构化的迭代推理机制整合了预训练的开词汇对象检测器、多模态大型语言模型MLLMs和大型语言模型LLMs通过联合语义和空间分析逐步精炼候选区域。还提供了强大的可解释性透明地展示了每一个推理步骤对其决策过程提供了清晰的见解。用GPT-4o预测边界框与本文的方法预测边界框的对比图2.方法介绍2.1 问题定义给定一个输入图像I和一个自然语言查询Q视觉定位旨在通过预测其边界框bpred​来定位由Q描述的目标物体。B(I)表示I中所有可能的边界框。b为LLM生成的视觉内容fvis​(I,b)和 flang​(Q)分别表示视觉和语言表示。2.2 groundingAgent一个无需训练的零样本视觉定位框架预训练的开词汇检测器首先提出候选边界框。然后MLLM为每个区域提供丰富的语义描述。最后LLM逐步对这些描述、空间线索和场景上下文进行推理以选择最匹配文本查询的边界框。整个流程无需任务特定微调并提供清晰、可解释的推理轨迹。1候选生成在生成候选目标区域的过程中首先利用MLLM生成一段图像描述全局描述记作 C(I)。将自然语言查询 Q 与生成的图像描述 C(I) 进行拼接得到体现用户意图以及图像本身语义内容的语境。基于这一语境LLM进而推断出一组在语义上高度相关的候选目标概念实体然后使用开放词汇的对象检测器在输入图像I上识别。对于每个概念c检测器生成一组候选边界框bc,j​表示与概念c相关联的j号边界框所有实体的候选框并集成整体候选集用MLLM结合全图和候选框对每个候选框生成详细区域描述为优先考虑显著对象将候选边界框按其面积降序排列。area(bi​)表示边界框 bi​的面积非极大值抑制NMS排序注非极大值抑制NMS同一个目标模型往往会预测出多个重叠的边界框bounding boxes每个框都有一个置信度score保留置信度最高的框删除和它重叠太多的框在此精炼和排序阶段之后每个候选项被表示为一个元组 (bi​,di​)2候选项选择通过加入思维链推理过程从,,D_ref D(I,Q,c(I))中选择最合适的候选项整个流程的算法如下