基于 LLM 的智能体系统中自动失败归因的机制研究

论文研究基于 LLM 的多智能体系统中的自动失败归因（AFA）：通过线性探针检查模型内部激活，发现模型虽然能编码足够信息来正确判断哪个智能体步骤导致错误结果，却在直接输出时没有给出该步骤，作者称之为“知道但不说”的差距；据此提出名为 grafting 的人工干预方法，利用模型已编码的知识提升 AFA 表现，且推理时无需真实标签。

此前研究多把 AFA 表现差归因于提示策略不足，并围绕提示工程与推理时干预做改进；该研究转向机制层面，指出模型内部已具备归因信息，问题出在输出环节，从而把改进方向从“增强能力”转为“提取已有知识”。

作者用线性探针读取模型内部激活，发现归因所需信息已经存在，但直接提示无法把它转化为显式输出，形成知道但不说的差距；grafting 作为人工干预，利用这些已编码信息改善输出，且推理阶段不依赖真实标签，因此绕过了对标注数据的依赖。

对构建多智能体产品的团队，这意味着诊断失败步骤时不必只依赖反复调整提示词或更强的判官模型；可尝试在推理流程中加入对模型内部表征的读取或干预，以更低标注成本定位出错智能体，但也需要额外的机制分析工程投入。

• 在多智能体工作流中加入归因探针，自动标记最可能出错的智能体步骤，供人工复核
• 将 grafting 类干预封装为推理时可选组件，在不使用真实标签的情况下提升失败归因准确率
• 为智能体平台提供失败诊断报告功能，输出可疑步骤及相关内部信号，作为提示词调优的输入

• grafting 的具体实现方式与干预位置在摘要中未完整披露
• 在哪些任务和智能体规模上进行了评估，泛化性尚不明确
• 该方法与提示策略、推理时干预相比的性能提升幅度未知
• 线性探针所得信息能否稳定迁移到不同模型架构上