LayerRAG-Bench：代理式检索增强生成的跨层可靠性基准

arXiv AI 发布 LayerRAG-Bench，一个针对 Agentic RAG 系统的跨层可靠性基准，覆盖企业领域、240 个任务、9 种故障、9 个模型，共 38,880 条记录。研究发现 Schema 归一化可将 schema 漂移成功率从 0 提升至 0.913，但无法修复陈旧证据、缺失工具输出、权限拒绝和会话错误，且仅评估 groundedness 会产生大量误报。

此前缺乏系统评估 Agentic RAG 各层可靠性的方法，LayerRAG-Bench 首次提供控制式跨层基准，揭示 Schema 归一化只是局部修复，非通用方案，且仅靠 groundedness 评估不可靠，为开发者和研究者提供了更准确的评测工具。

Agentic RAG 系统的答案可能看似有据，但证据、工具契约、授权或会话状态各层存在故障。基准通过设计多故障场景和契约模式，暴露不同干预手段的修复边界，强调可靠性干预应针对目标层，避免被误认为万能方案。

对使用 Agentic RAG 的产品团队，需要重新评估仅依赖 Schema 归一化和 groundedness 检查的可靠性策略，增加对陈旧证据、工具输出、权限和会话层故障的监控与修复，可能增加开发与测试成本，但能减少误报和风险。

• 基于 LayerRAG-Bench 开发中文企业级 RAG 可靠性评测服务，帮助客户定位故障层并优化。
• 在现有 RAG 产品中增加跨层故障诊断面板，显示 schema、证据、工具、权限、会话状态健康度。
• 与开源社区合作，将 LayerRAG-Bench 迁移到主流 LLM 平台，形成行业标准评测。
• 针对陈旧证据和错误会话场景，开发专用数据新鲜度和会话隔离机制，作为增值功能。

• LayerRAG-Bench 对非英语内容（如中文）的适用性尚未验证？
• 9 个故障场景之外，是否存在其他重要的跨层可靠性问题？
• Schema 归一化在真实企业数据中的迁移效果是否与基准一致？