VeriHarness：面向长周期任务的 agentic 验证扩展方法

该论文研究在固定基础模型、且测试时无法访问参考答案或评分标准的前提下，如何增强对长周期 LLM agent 输出的验证能力。研究发现分歧常暴露正确答案，而共识可能掩盖错误，据此提出 VeriHarness，把生成所用 LLM 转化为具备工作区、证据工具和可复用验证技能的 agentic verifier，并用分歧解析器与共识挑战者筛选和修订最终产物。在五个长周期工作区基准和两个前沿模型上取得最高选择分数，证据支持下的修订使相对单次 rollout 平均提升 6.2 分（Gemini 3.5 Flash）和 6.4 分（Claude Opus 4.8），并发布了约 26000 条 rollout。

此前长周期 agent 验证多依赖参考答案或评分标准，或仅靠重复采样取多数。该工作证明在无参考答案条件下，固定基础模型也可通过工具化验证流程提升选择与修订质量，并把验证从一次性判断转为可复用、可自我改进的技能。

机制上不再把重复采样简单视为投票：分歧被用作寻找正确替代答案的信号，共识则被主动挑战以发现遗漏要求。VeriHarness 让同一基础模型充当 agentic verifier，借助工作区和证据工具核对竞争性主张，并将失败反馈沉淀为可复用验证技能，从而在不更换模型的情况下提高对最终产物的选择与修订。

对使用 agent 完成长周期任务的产品，可把验证层与生成层解耦，在模型固定时通过验证流程和技能库提升交付可靠性，减少人工复核；发布的大规模 rollout 数据可用于训练或评测验证模块。研发上需要为验证器搭建证据工具与失败反馈闭环，成本从换模型转向验证工程。

• 基于 VeriHarness 思路搭建独立的 agent 输出验证层，接入现有长周期任务流水线，不更换基础模型即可提高选择准确率。
• 利用其发布的约 26000 条 rollout 数据构建验证技能评测集，用于筛选和回归验证自研验证模块。
• 围绕分歧解析与共识挑战设计可配置验证策略，让产品团队按任务风险调整复核强度。
• 将失败反馈驱动的验证技能自改进机制产品化，沉淀企业内部的领域验证技能库。

• VeriHarness 在五个基准之外的真实业务任务上是否保持同样增益。
• 验证技能自改进的增益上限及对基础模型能力的依赖程度尚不明确。
• 该方法增加的推理与工具调用成本相对单次 rollout 高出多少。
• 不同前沿模型之间提升幅度相近，是否意味着机制对模型选择不敏感。