SearchAuditor：长时程搜索代理失败的审计与归因框架

SearchAuditor 是一个审计框架，用于定位、归因和修复长时程搜索代理的失败。其配套基准 SearchAuditBench 包含来自八个开源模型在五个深度搜索基准上的 1,243 条失败轨迹，每条平均 73.1 条消息和 65.1K tokens，并带有专家标注。实验显示最强基线仅获得 26.6% 的端到端通过率，而 SearchAuditor 达到 32.3%。

此前诊断长时程搜索代理失败依赖人工检查极长的执行轨迹，超出人类能力。SearchAuditBench 首次提供了覆盖多模型、多基准的失败轨迹数据集，并引入多视角审计框架，使自动化定位和修复错误成为可能。尽管提升有限，但为系统化改进搜索代理提供了可量化的评估工具，降低了人工审计负担。

长时程搜索代理在复杂问题中通过多步网页交互，小错误可能在长而嘈杂的轨迹中传播成流畅但错误的答案。SearchAuditor 通过多视角审计框架和基于证据的裁决来定位关键错误步骤并归因根因，从而生成修复建议以帮助代理恢复。这种机制将错误诊断从人工转为自动化，效率更高。

对于构建深度搜索代理的产品团队，SearchAuditor 和 SearchAuditBench 提供了自动化调试工具，可减少人工检查执行轨迹的时间，加速迭代。然而，当前通过率仅提升约 6 个百分点，表明模型能力仍需提升，产品若要依赖该框架需考量改进幅度有限的风险。

• 集成 SearchAuditor 到搜索代理开发流程，自动获取失败轨迹的修复建议，减少人工调试时间。
• 使用 SearchAuditBench 作为内部评估集，定期测试不同模型和提示策略的失败率，指导优化方向。
• 基于基准中的根因分类，构建针对性训练数据，提升模型对常见错误模式的识别和规避能力。

• SearchAuditor 是否能有效处理真实世界搜索代理的多样性，而非仅限于基准中的失败模式？
• 修复后的代理在长时程任务中的成功率提升能否在更多模型和任务上复制？
• 部署 SearchAuditor 所需的计算资源与延迟是否影响其在生产环境中的应用？