基于超图的多模态检索增强生成与增量精炼

论文提出Hyper-M2RAG框架，针对多模态检索增强生成系统在传统简单图二元连接范式下的局限，以及现有精炼策略需全页重构导致计算冗余等问题，采用高序超图表示学习将文档结构形式化为多模态超图，并引入锚点驱动的增量精炼机制，通过局部超拓扑重构跨越跨页知识鸿沟。在基准数据集上的评估显示，该框架在检索精度上显著优于现有方法。

相比传统简单图，超图能更有效捕捉文本、图像、表格等异构实体间的高阶关联，且增量精炼取代全局扫描，减少计算浪费与噪声，为长文档多模态处理提供了更高效的新范式。

利用超边作为统一语义容器，封装多模态间的多元关联，突破点到点建模限制；锚点驱动的增量精炼仅识别边界锚点并基于一跳邻居重构局部超拓扑，以最小计算代价弥合跨页知识断裂。

为文档检索、知识库问答等产品提供了更精准的多模态检索能力，并有望降低长文档处理的计算成本与噪声干扰，提升处理效率与答案质量。

• 开发基于超图的多模态企业知识库检索功能，提升非结构化文档的查询准确率。
• 在长文档处理产品中集成增量精炼机制，优化分页处理的连贯性与资源消耗。

• Hyper-M2RAG在具体业务场景中的性能表现尚待验证。
• 该方法相对于现有系统的计算资源节省程度缺乏量化数据。