来源机器之心 本文约2000字建议阅读5分钟不仅提升了Agent性能还显著增强了模型在长时序任务中的安全性和稳定性。本项目由斯坦福大学 CS 博士生 Jacky Kwok 负责主要贡献者包括伯克利 EECS 博士生 Shulu Li。通讯作者为Ion StoicaUC 伯克利教授、Databricks 创始人、Azalia Mirhoseini斯坦福教授曾任职于 DeepMind 与 Anthropic、以及 Marco Pavone英伟达 AI 与自动驾驶研究总监。斯坦福、伯克利与英伟达联合提出 Agent 验证框架 LLM-as-a-Verifier。该方法是一种通用的验证机制可与任意 Agent Harness 和模型结合。研究表明通过扩展验证阶段的计算量scaling verification compute可以显著提升 agent 整体性能并在最有影响力的 AI 编程基准 Terminal-Bench 上超越 GPT-5.5 和 Claude MythosLLM-as-a-Verifier 在 AI Coding 基准 Terminal-Bench 和 SWE-Bench Verified 上均取得了当前最优SOTA性能。 Transformer 论文作者 Lukasz Kaiser 以及 GAN 作者 Bing Xu 也对该工作进行了转发与关注。博客地址llm-as-a-verifier.notion.site代码地址llm-as-a-verifier.github.io方法概述大多数 Agent Harness 实际上已经「具备」解决问题的能力 。当我们多次运行同一个 Agent例如运行 100 次它往往能够在某一次尝试中生成正确答案。但问题在于它们无法判断哪一个才是正确的。这一问题在长时序任务long-horizon tasks中尤为严重。LLM-as-a-Verifier 通过 scaling 评分 token 的细粒度score granularity、多次评估repeated verification以及评价标准的分解criteria decomposition显著提升了验证能力并进一步提高了下游任务的成功率。此外团队发现随着评分 token 细粒度的提升正负样本之间的得分区分度会进一步拉大。核心问题LLM-as-a-Judge 的局限性标准的 LLM-as-a-Judge 通过提示模型输出一个评分结果例如1 到 8 之间的分数并选择概率最高的评分作为最终的离散分数。然而这种方法往往存在评分粒度过于粗糙的问题。在比较长时序 agent 轨迹trajectories 时LLM-as-a-Judge 通常会为不同的轨迹分配相同的分数例如两条轨迹都被评为 4 分从而导致平局无法有效区分它们。这种粗粒度的评分机制在 Terminal-Bench 上出现了 27% 的平局情况限制了评判的精确性和区分能力。LLM-as-a-Verifier: 从判分到验证的范式转变从定义上讲judge裁判者是对整体情况形成总体判断并给出结论的人而 verifier验证者则是对具体事项进行真实及正确性核验的人因此需要更细致、更具体的评估。为此团队提出了 LLM-as-a-Verifier。它通过扩展以下三个维度来提供细粒度反馈重复验证的次数repeated verifications评分 token 的粒度granularity of score tokens评估标准的分解decomposition of evaluation criteria给定任务 t 以及两条候选轨迹和, LLM-as-a-Verifier 构造评分 prompt, 并通过从 score_A 和 score_B 中提取 toplogprobs得到对应的条件分布:LLM-as-a-Verifier 将轨迹的奖励表示为其中在选择最佳轨迹时团队采用循环赛round-robin tournament对每一对候选轨迹 (i, j), 验证器都会利用上述公式计算其 reward。奖励更高的轨迹获得胜利而在全部比较中胜场数最多的轨迹将被选为最终结果。实验结果1.在 Terminal-Bench 2.0 和 SWE-Bench Verified 等复杂的长时序基准任务中LLM-as-a-Verifier 的表现全面超越了前沿模型并均取得了当前最优SOTA性能。所有实验结果均来源于官方排行榜。2.LLM-as-a-Verifier 能够在不同的 Agent Harness 框架中实现无缝集成其通用性验证于以下三个基准任务ForgeCode验证准确率提升至 86.4%Terminus-Kira准确率提升至 79.4%Terminus 2准确率增加至 71.2%这表明无论针对何种 Agent Harness 或模型该验证方法皆可高效兼容并提升性能。3.LLM-as-a-Verifier 在验证准确率和消除平局方面全面领先于传统的 LLM-as-a-Judge。即使在增加重复验证次数的情况下如 k 16Verifier 方法依然保持了至少 7% 的验证准确率优势。此外它完全消除了平局现象。4.试验结果表明增加评分 token 的粒度granularity以及提高重复验证次数repeated verifications均显著提高验证准确率。此外在评分 token 维度的细化分级1→20中量化误差得到了极大降低从而更接近真实奖励。5.LLM-as-a-Verifier 放弃传统的单一评分机制采用将轨迹验证解构为三个可组合的评估标准规范合规性 (Specification)轨迹是否符合所有任务要求路径、命名等输出格式 (Output Format)验证输出的格式是否符合预期结果错误检测 (Error Checking)轨迹中是否存在明显的错误信号。验证计算作为新的扩展维度「LLM-as-a-Verifier」是一种通用验证机制能够显著提升 Agent 的整体性能并在多个 AI 编程基准上取得当前最优SOTA表现超越了其他前沿模型如 Claude Mythos。相比传统的「LLM-as-a-Judge」方法该框架利用更细致的评分粒度、重复验证以及评估标准分解实现更高的验证准确率和更精确的区分能力消除了评分平局现象。实验结果表明它能够广泛适配不同的 Agent Harness 和模型提高多种基准任务中的准确率同时通过评分机制的细化缓解量化误差使验证结果更接近真实奖励。LLM-as-a-Verifier 不仅提升了 Agent 性能还显著增强了模型在长时序任务中的安全性和稳定性。编辑文婧关于我们数据派THU作为数据科学类公众号背靠清华大学大数据研究中心分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识努力建设数据人才聚集平台、打造中国大数据最强集团军。新浪微博数据派THU微信视频号数据派THU今日头条数据派THU