分析面向问答任务的检索增强生成模型性能

一篇 arXiv 论文研究 RAG 模型在开放域问答中的表现，指出答案质量高度依赖检索机制的有效性。研究聚焦南亚多语言、文化相关问答场景，试图提取高性能因素以指导混合 RAG 系统开发，并比较 RAG 在文化类与非文化类问题上的效果差异，以及 RAG 相比有上下文和无上下文回答的正确率变化。

过去两年 RAG 架构报告了大量设计创新，但论文指出，在语言繁多、文化叙事交织的南亚地区，原生语言的文化类问答仍存在明显挑战，说明通用架构进步未必能直接转化为特定区域的问答质量提升。

RAG 将检索结果作为生成上下文，答案正确性取决于检索能否找到与问题文化背景匹配的材料。南亚语言与传统的相互关联使检索与语境对齐更难，因此论文尝试区分文化类与非文化类问题，观察 RAG 在两类问题上的增益是否有差异。

对做多语言或区域化问答产品的团队而言，需分别评估文化类与非文化类问题的检索质量，不能只按整体正确率判断 RAG 是否有效；混合 RAG 设计可能需要在检索策略上针对文化语境做专门处理。

• 针对南亚多语言文化问答构建分文化类与非文化类的评测集，分别衡量 RAG 增益。
• 在产品检索层引入文化语境标签，用于判断是否触发额外检索或重排。
• 对混合 RAG 方案做 A/B 测试，比较有上下文与无上下文回答的正确率差异。

• 论文最终提取出的高表现因素具体有哪些？
• RAG 对文化类问题的正确率提升是否高于非文化类问题？
• 南亚多语言场景中的结论能否迁移到其他区域？
• 混合 RAG 系统相比单一 RAG 或纯上下文回答的量化差距是多少？