ViSR-KGC：用视觉语言模型进行视觉子图推理，实现多模态知识图谱补全

arXiv 发布论文 ViSR-KGC，提出一种用于多模态知识图谱补全的视觉子图推理方法。该方法结合表示学习、视觉语言模型和预训练常识，将查询相关的紧凑子图转化为图像，与实体图像、文本描述和候选答案组成统一提示，让 VLM 推断缺失实体。

传统嵌入方法在关系证据有限时效果不佳，而基于 LLM 的方法将图结构线性化为文本，丢失拓扑和视觉信息。ViSR-KGC 首次将子图可视化为图像，使 VLM 能直接处理结构化图拓扑，为多模态知识图谱补全提供了新范式。

ViSR-KGC 先通过表示学习捕捉全局拓扑依赖，再为查询提取紧凑子图，并依据经验选择的布局策略将其转为图像。随后将子图图像、实体图片、文本描述和候选答案组合为统一提示，输入 VLM，利用其多模态推理和常识知识推断缺失实体。

该方法可提升涉及多模态数据（如电商、社交网络）的知识图谱补全准确率，降低对关系证据的依赖。对研发团队而言，需集成 VLM 并设计子图可视化与提示组合流程，可能增加推理成本，但减少人工特征工程。

• 将 ViSR-KGC 应用于电商商品知识图谱，利用商品图片和描述补全缺失品牌或类目关系。
• 基于子图可视化设计面向非技术用户的图谱查询界面，使其能直观理解推理依据。
• 在智能助手场景中，将多模态知识补全用于回答涉及图像和关系的问题，提升交互体验。

• 论文中提出的方法在真实数据集上的性能提升幅度尚未在证据中给出，需进一步验证。
• 子图可视化的布局策略选择标准未在证据中说明，实际应用中如何选取最优策略尚不明确。
• 该方法对计算资源和推理延迟的影响未在证据中提及，需评估其落地成本。