DiagChain：用于评估 LLM 智能体基于证据重建攻击链的诊断基准

arXiv 发布 DiagChain，一个用于评估 LLM 智能体在证据基础上重建攻击链的诊断基准。它包含 69 个场景的 MAIN-69 套件，并引入证据中心检索增强生成（ECRAG）和五个互补指标。对 6 个 LLM 的评估显示，最强配置在 849 个参考步骤中仅成功 39.6%，且较小模型难以整合检索证据，而较大模型则在证据排序上遇到瓶颈。

现有基准多评估最终输出或聚合准确率，无法洞察中间推理阶段的错误来源与传播。DiagChain 首次提供分阶段评估，能系统诊断 LLM 智能体在攻击链重建中的失败点，弥补了安全领域诊断性评估的空白。

DiagChain 通过将证据检索与重建链的动态结构化表示耦合（ECRAG），并结合五个互补指标分别评估重建过程的各阶段，从而定位错误发生在证据整合还是排序环节。实验表明，模型规模影响失败模式：小型模型难以整合证据，大型模型则在排序证据上受限。

对网络安全产品而言，采用 DiagChain 可更精准地评估和优化 LLM 代理的推理链路，识别薄弱环节并针对性改进，例如增强小型模型的证据整合能力或改进大型模型的排序机制，从而提升攻击链重建的准确性和可靠性。

• 开发基于 DiagChain 的评估工具，帮助安全团队量化 LLM 代理的推理质量并定位失败环节。
• 针对小型模型优化证据整合模块，例如微调或设计提示词，以提升其在证据相关任务上的表现。
• 为大型模型设计更高效的证据排序算法或后处理策略，解决其排序瓶颈。
• 扩展 DiagChain 到更多操作系统和噪声场景，形成标准化基准服务，供安全产品研发使用。

• DiagChain 是否涵盖真实生产环境中的攻击链复杂度，如多阶段横向移动？
• ECRAG 与现有 RAG 相比，在计算成本和延迟上的差异？
• 五个指标是否适用于其他安全任务如威胁情报分析，是否需要适配？