LLM代理失败的实时检测与修复

本论文研究LLM代理运行中途失败（如死循环、工具错误、目标漂移、伪造结果）的实时检测与修复。利用毫秒级监控器分析步骤遥测，仅用健康运行训练，在2823个代理会话中，一类的回声状态网络集成结合CUSUM警报在5%误报率下检测出71%的失败（AUROC 0.872）。确定性验证方法捕获60%失败且无误报，修复环节将标记运行回滚。

当前LLM代理常中途失败，传统做法是用第二个LLM逐步评估，成本高于代理本身。本研究提出基于步骤遥测的轻量监控，成本低且能提前检测，并引入确定性验证层，大幅降低误报，为代理可靠性提供高效方案。

监控器采用一类回声状态网络集成（不需要失败样本）分析步骤时序特征，CUSUM警报检测异常。该方法随失败后时间增加优势增大，且监控排名可迁移到其他数据集。确定性验证通过重新计算结果并检查必要调用，实现无监督且零误报的检测，最后将失败运行回滚修复。

该技术可嵌入代理编排系统，添加轻量监控层，实时识别失败并自动回滚，降低人工介入成本。对依赖LLM代理的产品，可提升任务完成率与可靠性，减少资源浪费。但需注意每部署需健康基线校准，否则效果不佳。

• 在代理工作流中加入确定性验证层，如校验工具调用与结果，快速捕获伪造输出。
• 开发基于回声状态网络的监控中间件，以毫秒级开销实现失败预警。
• 利用失败回滚机制，在自动化流程中自动恢复至上次健康状态。

• 监控器在更复杂任务（如多步骤推理）上的表现未明确。
• 回滚操作的具体实现细节与副作用未说明。
• 商业API（如gemini-2.5-flash）与其他模型的适用性未全面验证。