对话中迷失还是翻译中迷失：诊断 RAG 的多轮退化

arXiv 论文将多跳 QA 基准中的问题改写成信息不完整的多轮对话，覆盖 10 个 LLM 助手与 8 个检索系统、共 150 万次模拟对话，评测 RAG 与 GraphRAG 的多轮表现。结果显示多轮交互导致性能普遍下降，相对降幅最高 21%，不可靠性增加 47%。

此前 RAG 与 GraphRAG 几乎只在单轮、信息完整的查询上评测，而真实用户常通过追问逐步补全问题。该研究首次用百万级模拟对话量化这一评测错配，指出多轮场景下检索与生成会同时变差。

研究识别出两种失败模式：一是 conversational rephrasing 扭曲检索 query，使检索本身偏移；二是检索成功但 LLM 无法综合分布在多轮中的证据。前者出在查询改写与检索环节，后者出在跨轮证据整合环节。

RAG 产品的多轮对话体验可能被高估：单轮基准分数无法代表追问场景。研发需把多轮改写后的检索命中和跨轮证据整合分开测试，并重新评估失败率与重试成本。

• 在 RAG 评测中加入多轮不完整提问集，分别统计检索失败与综合失败两类错误率
• 为检索 query 改写增加多轮上下文校验，避免追问导致检索语义漂移
• 针对跨轮证据分散问题，设计显式的证据汇总步骤再交给 LLM 生成
• 在对话产品中提示用户问题是否信息不足，减少无效检索轮次

• 21% 性能降幅和 47% 不可靠性上升分别对应哪些具体模型与检索系统组合？
• 两种失败模式在十个 LLM 与八个检索系统中的分布是否一致？
• 模拟对话的结论在真实用户对话中是否同样成立？
• GraphRAG 相比普通 RAG 在多轮退化上是否有差异？