- 类型
- 论文
- 来源
- arXiv AI
- 发布
- 2026年9月30日 16:40
- 状态
- 单一信源
发生了什么
该论文发布 Agent Error Dataset(AED),包含来自 9,961 个源任务、33 个环境、19 个 harness 家族和 23 个策略模型的 50,228 条错误—诊断配对,并保留源轨迹与执行元数据。作者提出五阶段 AET pipeline,用于采集自然失败、生成诊断与修正建议并核验。在 3,062 对匹配回放中,首次修正建议将验证器通过率从 18.4% 提升至 51.1%。
为什么重要
过去 agent 失败轨迹多只保留最终奖励,失败样本难以直接复用;该工作把失败决策、替代动作与核验结果整理成可跨环境复用的数据集,并给出诊断与执行恢复两类训练视图,使失败数据从评估产物变为可训练资产。
底层逻辑
机制是把一次失败 rollout 拆解为“定位需修改的决策—生成具体替代方案—用记录证据核验—在支持回放时与同 checkpoint 的原始重试对照”,从而把稀疏的最终奖励转化为带因果对照的过程级监督信号,再分别训练诊断能力和 actor 恢复能力。
产品与商业机会
对 agent 产品与研发而言,可把线上失败日志转为诊断与恢复训练数据,减少对昂贵新 rollout 的依赖;但需保留执行元数据、可回放环境和教师标注。验证器通过率与 exact-step agreement 为主要衡量指标,可用于评估错误感知后训练收益。
- 在 agent 平台引入失败日志采集与错误—诊断配对流水线,保留执行元数据以支持复用与再诊断。
- 基于 AED 式流程构建诊断微调集,在内部 holdout 上报告 exact-step agreement 与验证器通过率。
- 为可回放环境建立同 checkpoint 的原始动作重试对照,量化修正建议的增量收益。
- 把诊断视图与 actor 恢复视图拆分为不同训练任务,分别优化错误定位与动作恢复。
仍待确认
- AED 在非文本、非可回放环境中的适用性和收益尚未说明。
- actor-training 配方单种子比较的完整结果在证据中被截断,效果差异未知。
- full-diagnosis fine-tuning 的增益是否在 8B 以外模型规模上复现尚不明确。
- 数据集与 AET pipeline 是否公开发布、许可与使用限制未在证据中出现。