AgentHorizon：评估长周期 computer-use 任务中的 agentic judge

研究团队发布 AgentHorizon，一个包含 1,373 个 computer-use 任务的评测基准，任务来自 166 小时人类录制的轨迹，跨越三个操作系统。他们通过为相近指令录制轨迹并交换指令来构造负样本，用于检验 judge 能否区分完成任务与完成相似但不兼容请求的轨迹。基准分 AH、AH-S、AH-D 三个 split，评测了十一种 judge。最佳 agentic judge GPT-5.5 在 AH 上取得 80.9% 平衡准确率。

此前自动 judge 多用于短任务或单一应用，其在跨应用长任务上的可靠性缺乏公开检验。AgentHorizon 用指令—轨迹配对和交换指令的负样本，把“看似完成、实则违背约束或引入副作用”的错误变成可量化指标，使自动评测的可信度首次有统一对照口径。

长任务轨迹由大量截图与动作组成，表面完成不等于满足原始指令。该基准把同一段轨迹与相近但不兼容的指令配对，judge 若要判对，必须把轨迹与用户指令逐项对齐，而不是只判断动作序列是否终止。直接用完整轨迹与将其当作 coding agent 调用工具两种方式被并行比较，用来观察工具调用对判断能力的实际作用。

对做 computer-use agent 的团队，这意味着训练与上线评测不能再只看任务是否走完，需要引入指令对齐与副作用检查。用自动 judge 替代人工评审可显著降低长任务标注成本，但残留在基准上的错误率提示：高风险流程仍应保留人工抽检，评测集本身也需要按业务约束定制。

• 将指令—轨迹配对与交换指令负样本方法引入自家 agent 的回归测试，构建内部 judge 基准。
• 在训练流水线中把 judge 判定为对齐失败或含副作用的轨迹作为负样本回流，用于偏好优化。
• 针对跨应用长任务提供评测服务或工具，帮助团队量化自动 judge 与人工判断的一致率。
• 按业务约束定制 split 与检查项，把副作用检测纳入上线前的自动化门禁。

• GPT-5.5 之外的十种 judge 具体表现分布如何，何种 harness 组合更可靠？
• AH-S 与 AH-D 两个 split 上的准确率与 AH 相比差异多大？
• 工具调用提升某些模型却降低单位表现的具体原因是什么？
• 该基准能否覆盖真实生产环境中的权限与安全类约束？