拓扑归因距离：揭示段级 RAG 对 LLM 输出几何形状的影响，用于事件日志分析

arXiv AI 发布论文，提出拓扑归因距离（TAD），用于分析大型语言模型（LLM）输出嵌入空间几何形状，通过段级消融归因追踪检索日志对生成结果的影响。研究在真实网络攻击事件日志上验证，能识别对模型输出关键影响的日志段，弥补现有证据归因方法在相似日志区分上的不足。

该研究针对 Agentic AI 在网络安全中证据溯源需求，提出跟踪决策链的方法。此前方法难区分复杂相似的日志，TAD 通过几何形状变化识别关键日志段，提升对 LLM 输出的信任度，对网络安全自动化决策有实际意义。

TAD 基于拓扑学，刻画模型输出嵌入空间的全局几何形状。通过段级消融，移除特定日志段观察响应几何变化，变化大则表明该段是关键证据源。此机制利用嵌入空间距离归因，比传统方法更整体地捕捉证据与响应关系。

对产品而言，TAD 可用于增强 LLM 在安全运营中的可解释性，帮助团队定位导致特定输出的日志段，加快调查和错误分析。研发上需集成嵌入计算和消融流程，可能增加计算成本，但提升信任度，降低误判风险。

• 开发安全运营工具，集成 TAD 进行证据溯源，展示响应归因链，帮助分析师验证 LLM 输出。
• 将 TAD 应用于 RAG 系统调优，自动识别低价值或干扰日志，提升检索质量。
• 设计可视化界面，展示令牌级或段级影响热力图，辅助快速理解模型决策。

• TAD 在非网络安全领域（如法律、医疗）的日志或文档上是否同样有效？
• 段级消融的粒度如何选择才能平衡计算成本与归因准确性？
• TAD 能否扩展到多轮对话或流式输出场景下的实时歸因？
• 证据未明确 TAD 与其他归因方法（如 LIME、SHAP）的量化对比结果。