修复还是重采样？重新思考 LLM 多智能体系统的失败调试

arXiv 上发布了一项关于 LLM 多智能体系统（MAS）失败调试的研究。作者引入受控评估框架 SymTrace 和包含 536 条人工标注失败轨迹的数据集 SymFail，对三个主流 MAS 框架进行大规模实证研究。结果显示，现有的无引导重跑方法高度不可靠，失败复现率和修复率分别仅为 67.97% 和 6.90%，而他们提出的症状驱动干预方法成功修复了 20.15% 的失败案例，相比现有最佳方法提升了 191.89%。

此前 MAS 失败调试主要依赖重跑和重采样整个执行轨迹，但这种方式可能只是利用 LLM 采样的随机性偶然修复，而非因果修复。该研究引入受控评估框架，能可靠复现失败，并首次大规模显示现有方法的低修复率，提出了更有效的症状驱动干预方法，对提升长时复杂任务中 MAS 的可靠性有实质意义。

SymTrace 通过记录 MAS 执行轨迹并建立干预锚点，在重放时用日志重建锚点前的执行，仅重新生成下游轨迹，从而可靠复现失败。基于此，研究比较了无引导重跑与症状驱动干预的效果，发现前者因未定位具体失败原因，故修复率低；后者根据失败症状（如位置、类别、痕迹）进行靶向干预，显著提高修复率。

对依赖 LLM 多智能体系统处理长时复杂任务的产品团队，该研究提示现有重跑调试机制可能低效，需采用可复现失败的受控评估工具和症状驱动干预策略，以提升系统可靠性和调试效率，减少因随机修复带来的成本与不确定性。

• 将 SymTrace 的受控评估框架集成到 MAS 开发流程中，用于可靠复现和定位失败，提升调试效率。
• 研发基于失败症状（如位置、类别、痕迹）的自动干预工具，为现有重跑机制提供补充，提高修复成功率。
• 构建类似 SymFail 的失败轨迹数据集，用于训练和评估 MAS 调试模型，促进调试自动化。

• SymTrace 框架是否适用于所有主流 MAS 框架，或者存在特定框架的限制？
• 症状驱动干预方法对不同类型的失败（如逻辑错误、工具调用错误）的修复效果是否有差异？
• 该研究的方法在真实世界部署中的计算成本和延迟如何，是否适合生产环境？
• 现有重跑方法在更长地平线或更复杂任务中的表现是否会进一步下降？