单一模型处理多种图：使用视觉语言模型跨异质模态学习属性图

论文提出OMG-VLM框架，利用预训练的视觉语言模型（VLM）作为共享骨干，配合结构感知图适配器，能统一处理文本、图像和多模态属性图的节点分类与链路预测任务，在实验中优于基于GNN和LLM的基线方法，并展现对未见图的泛化能力。

此前图学习模型针对固定模态设计，需要为不同模态分别训练模型。OMG-VLM首次实现单一模型兼容多种模态属性图，并能泛化到未见过的图，大幅降低模态切换成本和维护复杂度。

OMG-VLM利用VLM的统一表示空间，通过结构感知图适配器整合邻居信息，同时保持与VLM原生嵌入空间的兼容性，从而在不重新训练的情况下适应不同模态的属性图。

产品团队可构建统一的图学习系统，无需为每种数据模态（文本、图像或混合）维护多个模型，降低部署和运维成本，简化面向不同用户场景的模型更新流程。

• 开发多模态数据管理平台，支持将用户文本资料与图像统一建模，用于社交网络分析。
• 将OMG-VLM集成到电商推荐系统，同时利用商品文本描述和图片特征进行精准推荐。
• 提供图分析API服务，允许用户上传不同模态节点属性，自动适配模型完成分类或链接预测。

• OMG-VLM在真实大规模生产环境下的推理速度是否满足实时性要求？
• 当不同模态数据严重不平衡（如文本属性远多于图像属性）时，模型效果是否会下降？
• 框架是否支持除文本和图像以外的其他模态，如音频或数值属性？