[AI]《LLM-as-a-Verifier: A General-Purpose Verification Framework》J Kwok, S Li, P Atreya, Y Liu… [Stanford University & UC Berkeley] (2026)
在智能体任务(Agentic Tasks)领域,如何准确验证复杂轨迹的正确性是一个悬而未决的难题。过去的方法受困于传统 LLM Judge 输出的离散评分(如 1-5 分)存在大量“平局”且分辨率极低,本质原因是离散采样丢弃了模型内部概率分布中蕴含的细粒度质量信号。
本文的核心洞见是:把验证过程重新看作对评分标记概率分布的连续期望计算。由此,通过提取 Scoring Token 的 Logits 分布来构建连续分值,并配合“概率锚点锦标赛”算法,这一关键操作使模型能够捕捉极其微小的性能差异,并实现了验证精度随评分粒度、重复次数和准则解构三个维度的算力缩放。
这项工作真正留下的遗产是确立了“验证”作为大模型能力提升的独立缩放轴(Scaling Axis)。它为后来者打开的新门是无需额外训练即可为强化学习提供稠密奖励信号,并实现任务进度的实时监控,但尚未跨过的门槛是该方法仍高度依赖闭源模型开放 Logits 接口,且在极端长序列下的计算成本依然高昂。
arxiv.org/abs/2607.05391 机器学习 人工智能 论文 AI创造营








