基于轨迹的 LLM Agent 早期结果预测可靠性审计：同一基准内存在目标特定校准迁移

论文用公开 SWE-bench Verified 轨迹和冻结的双头早期结果预测流程，做留一智能体的校准审计，并设置共享预测器留二控制、oracle 先验校正及多重稳健性检验。结果不支持预测器在不同智能体间普遍存在校准迁移失败，只有 gpt-5-mini/SUCCESS 与 claude-opus-4.6/FAILURE 两组合持续出错；TerminalBench 未实现跨基准复现。

此前对早期结果预测的担忧集中在预测器跨智能体迁移是否会普遍失效，本文用冻结流程与预注册边界测试把问题缩小到特定目标智能体/头组合，说明可靠性风险可能是局部而非系统性，评估成本节约方案可以更精细地设定适用范围。

预测器在某个智能体上训练后用于另一个智能体时，若置信度未重新校准，提前终止运行可能误判结果。论文通过留一智能体审计分离出共享预测器整体不差、但个别目标组合持续偏移的情形，并用 oracle 先验校正、任务重采样、jackknife 和阈值检验排除训练队列与采样波动。

若团队用轨迹预测提前终止 agent 评估，不能只按基准整体校准，而应对 SUCCESS 与 FAILURE 两个头分别检查目标智能体；对 gpt-5-mini 与 claude-opus-4.6 这类已出现持续偏差的组合，应额外校准或保留完整运行，否则可能系统性高估或低估结果并影响成本判断。

• 在 agent 评估平台中加入按目标智能体与预测头分组的校准监控，发现持续偏移时自动回退到完整运行。
• 为 SUCCESS 和 FAILURE 两个预测头分别维护校准参数，而不是共用一套阈值。
• 将 TerminalBench 等边界测试纳入上线前检查，跨基准未复现时限制预测器自动终止的范围。

• 持续校准错误的两个组合是否在其他基准或私有 agent 上同样出现？
• oracle 先验校正之外的在线校准方法能否消除这类目标特定偏移？
• 跨基准未复现是 TerminalBench 固定 scaffold 导致，还是预测器本身不具备泛化性？
• 提前终止运行节省的成本与误判带来的评估误差之间如何量化权衡？