ReliableRAG：通过可靠性引导推理链对抗检索增强生成中的虚假信息

arXiv AI 发布论文介绍 ReliableRAG，一个面向检索增强生成（RAG）的可靠性驱动框架，用于缓解多跳问答中因检索文档包含误导信息而导致的错误回答。该框架从源文档提取信息段并表示为结构化三元组，通过结合查询相关性与可信度量化三元组可靠性，仅保留可靠且不冗余的三元组，并自回归构建推理链以过滤虚假信息。在三个多跳问答数据集上的实验显示其性能优于现有方法。

现有 RAG 方法对检索文档中的细粒度误导信息（语义相关但事实错误）识别能力有限，尤其在多跳推理中，一段错误信息就可能导致最终答案错误。ReliableRAG 首次从三元组粒度评估信息可靠性，为构建更可信的 RAG 系统提供了新思路，对依赖外部知识的问答产品具有潜在价值。

ReliableRAG 将文本转化为结构化三元组，便于精细判断事实正确性。通过结合查询-三元组语义相关性与三元组自身可信度，筛选出既相关又可信的证据，降低噪声干扰。随后基于这些高可靠三元组自回归生成推理链，逐步整合证据，使模型在推理过程中自然绕过虚假信息，最终产生基于可靠事实的答案。

对使用 RAG 的问答产品（如企业知识库助手或新闻事实核查工具），ReliableRAG 可能降低虚假信息导致的错误回答率，提升用户信任。其三元组级筛选机制可能增加额外的数据处理与推理开销，需评估在实时场景下的性能平衡。

• 在多跳问答型 AI 助手（如客服或研究工具）中集成 ReliableRAG，以筛选可靠证据。
• 为新闻聚合或社交媒体分析产品提供事实核查模块，专门识别语义相关但事实错误的段落。
• 基于三元组可靠性评估构建 RAG 系统的质量监控指标，帮助开发团队定位误导来源。
• 将 ReliableRAG 应用于开放域问答 API 服务，作为付费增强功能吸引对准确性要求高的客户。

• 论文中实验未提供与部署成本（如推理时间、内存占用）对比数据，实际性能影响未知。
• 是否兼容其他 RAG 架构（如按需检索或混合检索）未在摘要中说明。
• 对非英语或低资源语言的效果未在摘要中提及。
• 真实业务场景（如产品化使用）的效力尚未有独立验证。