OrchestraBench：评估多智能体编排的失败模式、恢复与分解质量

OrchestraBench 通过可控的种子可复现故障注入框架，评估多智能体编排中的失败模式、恢复与分解质量。在 26 例金标诊断上，关键词/标志路由器对抗性用例得分为 0%，意图推理路由器为 100%；真实 Claude 代理的机制探针显示，工具故障完全恢复，模糊委派部分恢复，潜藏或语义模式无法恢复。级联半径随流水线深度增加。

此基准不再仅报告任务准确率，而是系统诊断管道失败原因与级联起点，引入级联半径和按失败模式恢复率指标，为多智能体编排从演示走向生产提供了可复现的评估方法，并显示关键词路由在对抗性场景下失效，意图推理更稳健。

通过种子可复现的故障注入和带金标的诊断用例，比较不同路由策略（关键词/标志 vs 意图推理）在误导性或缺失表面标志下的表现。机制探针利用真实 Claude 代理在可验证的算术依赖链上测试五种 MAST 模式的恢复能力，发现恢复率分层，且盲重试会复现潜在故障并延迟检测，说明检测与归因对遏制故障至关重要。

对采用多智能体编排的产品团队，此研究提示应重视路由策略的选择（意图推理优于简单关键词匹配），并需内置故障检测与归因机制，而非依赖重试。级联半径随深度增加，暗示应控制流水线深度或加强中间监控，以降低故障扩散风险。

• 在产品中引入意图推理型路由替代关键词/标志路由，以提升对抗性场景下的任务成功率。
• 开发故障归因和检测模块，在重试前定位故障源头，缩短恢复时间。
• 针对不同深度流水线实施动态监控，在级联半径增大时触发预警或降级机制。
• 借鉴可信状态修复消融结果，设计更可靠的状态确认流程以提升遏制效果。

• 可信状态修复消融中，自主修复的实际贡献尚不明确，需要进一步实验确认。
• 从算术依赖链重构成贷款审批工作流时，绝对恢复率有变化，但底层机制是否通用仍待验证。
• 本基准基于模板化企业工作流，对更复杂、非模板场景的有效性有待考察。