超越端到端成功：诊断长时程安全 LLM 智能体的失败

arXiv AI 发布论文，提出用于诊断长时程安全 LLM 智能体失败原因的检查点方法。该方法通过设置检查点区分能力暴露前后的失败，并使用受控干预验证上游瓶颈。在四类任务中评估，发现 Gemini 2.5 Flash 在状态复用任务中，许多失败发生在模型观察状态之前。预注册的 92 种子实验中，有针对性的协议消歧指导使状态观察率从 65.5% 提升至 95.4%，而对 Gemini 3.7 Flash 重复实验则效果相反。

该研究改变了对智能体评估的传统视角，从只看最终成功率转向关注失败发生的具体阶段。它揭示不同模型代际间的失败主导原因可能不同，意味着依赖单一成功率指标可能误导优化方向，需要更精细的诊断方法来指导模型迭代。

长时程任务中，后续动作依赖早期发现的信息或状态，因此早期失败会掩盖后续能力的真实表现。通过设置检查点，区分能力暴露前后的失败，并用受控干预测试上游瓶颈，可以精确定位失败根源。该方法帮助识别诸如状态观察不足等具体问题，并验证针对性提示是否有效。

对 AI 产品团队而言，评估智能体性能时不应只看端到端成功率，而需引入检查点诊断。优化提示或模型时，需检查失败发生在哪一阶段，避免浪费精力在非瓶颈处。对于安全相关应用，可帮助识别特定模型版本的薄弱环节，指导选型或开发。

• 开发智能体调试工具，在任务关键节点自动插入检查点，可视化失败阶段分布，帮助开发者快速定位瓶颈。
• 基于诊断结果为不同模型生成定制化提示词指导，例如针对状态观察缺失提供协议澄清指引。
• 建立模型评估矩阵，对比不同模型在各类检查点上的表现，辅助选型时考虑任务具体需求。

• 该方法在更多任务类型和实际生产环境中的有效性如何？
• Gemini 3.7 Flash 实验中效果相反的具体原因是什么？
• 检查点设置是否会影响智能体行为的自然性？
• 该方法是否适用于其他非安全领域的智能体？