故障传播：Agentic RAG 中的因果故障归因

一项研究引入 AgenticRAG-FP 基准，通过注入已知故障并重新执行轨迹，评估诊断器能否识别 agentic RAG 中的因果故障起点。在 Claude Haiku 4.5 的 80 个问题上，覆盖式诊断在跳 1 准确率 0.91，跳 2 和 3 为 0.00；内容损坏实验中，跳 2 覆盖诊断为 0.00，冻结跳反事实探针为 0.67。结果表明故障传播深度影响事后诊断。

此前对 agentic RAG 的失败分析多关注端到端错误，缺乏对多跳过程中故障起点与传播路径的系统归因。该基准首次将传播深度作为显式评估维度，揭示覆盖式诊断在深层失效，促使开发者重新审视事后追踪的可靠性。

Agentic RAG 多跳交错检索、推理与生成，早期检索错误可能到后期才表现为答案错误，后续检索也可能修复轨迹。该基准通过干预注入已知故障并重跑下游轨迹，对照已知干预评估诊断器。覆盖式诊断依赖轨迹中的 token 覆盖信号，故障传播后信号丢失导致深层失效；反事实探针通过冻结特定跳对比结果，在部分场景更有效。

对采用多跳 agentic RAG 的产品，需警惕事后日志和追踪无法可靠定位故障根因。故障可能自跳 1 传播至跳 3 才显现，若依赖覆盖式诊断，深层错误难以溯源，增加调试成本。建议在系统设计中加入干预式或反事实归因机制，并注意小样本方法对比的统计效力不足。

• 在 agentic RAG 产品中集成反事实故障探针，对冻结特定检索跳的结果进行对比，以弥补覆盖式诊断在深层失效的问题。
• 开发面向多跳 RAG 的调试工具，按故障传播深度分级展示诊断置信度，帮助工程师优先处理跳 1 的根因。
• 在 RAG 日志系统中记录每跳的检索内容与中间推理，支持事后干预式重放，以验证故障起点假设。
• 针对小样本场景，建立内部基准库，积累故障轨迹数据，以支撑更稳健的诊断方法评估。

• 该基准是否适用于其他模型（如 GPT 或开源模型）及更长跳数？
• 覆盖式诊断在跳 2、3 失效的原因是否仅为信号丢失，是否与问题类型有关？
• 反事实探针在跳 2 的 0.67 表现是否在更大样本下仍成立？
• 内容损坏实验中跳 3 仅 3 个失败案例，无法支持可靠结论，实际影响程度未知。