检索增强生成在三跳需求追踪中的三鲁棒性分析

一项三鲁棒性分析固定五管线架构矩阵，通过变化嵌入器、语料库和评判者，发现GraphRAG与向量RAG的胜负结论受语料库和评判位置影响：图遍历检索精度低（0.12-0.23），但综合器引用精度高（0.48-0.65）；答案级引用胜者依语料和层级而定，单一LLM评判者跨嵌入器自一致性差（kappa 0.137）。

此前关于GraphRAG与向量RAG孰优孰劣的报告结论互相矛盾，且证据多依赖单一语料库、嵌入器和评判者。该研究通过系统变化三个维度，证明结论依赖于测量引用质量的位置，并揭示单一LLM评判者的不可靠性，为评估RAG系统提供了更严谨的方法论。

GraphRAG的图遍历会向上下文窗口塞入大量低精度相关信息，但其综合器仅选择性引用高精度内容，因此若以检索集而非引用集评分，架构排名会反转，解释了既往矛盾。答案级引用胜者受语料和层级影响，但对嵌入器稳健；忠实度在特定语料下随跳数下降，单一评判者因检索状态变化导致一致性差。

对构建RAG产品的团队而言，测试评估不能仅依赖单一LLM评判，需引入多评判者或人工校验，否则评估结果不稳定。产品中GraphRAG的检索与生成分离可带来高引用精度，但注意图遍历可能造成上下文浪费；多跳需求追踪场景可选择GraphRAG，简单短查询用向量RAG即可。

• 设计评估流水线时，采用多评判者协议或人类基准，并在不同嵌入器和语料上复测，以稳定衡量RAG系统性能。
• 对多跳需求追踪任务，优先选用GraphRAG而非向量RAG，尤其是需要高引用精度的场景。
• 开发检索状态感知的评判模型，避免单一LLM因检索变化导致的低一致性。
• 优化GraphRAG上下文窗口管理，减少图遍历带来的低精度内容填充，降低成本。

• GraphRAG在真实产品环境中的端到端性能是否优于向量RAG，证据仅限学术语料。
• 除e5-small和Azure text-embedding-3-small外，其他主流嵌入器下结论是否保持稳健。
• 多跳需求追踪场景中，agentic管线在3跳以上查询的优势是否可复制到其他领域。
• GPT-5.4与GPT-4.1的评判不一致性是否适用于其他LLM评判器。