CHARM：一种具有层次上下文建模的多模态图基础模型，用于零样本迁移

CHARM是一种多模态图基础模型，通过层次上下文建模实现零样本迁移。它将原始节点替换为层次图上下文，整合文本、图像等多模态信息并建模跨模态关系，映射到共享高级概念，从而无需目标域数据或微调即可在新领域和图任务中泛化。

此前零样本迁移在多模态图领域几乎未被探索；现有图基础模型通常需要下游微调，而基于大语言模型的图方法多限于单模态或单领域。CHARM首次实现了无需目标域适应的多模态图零样本迁移，填补了重要空白。

CHARM使用层次图上下文替代原始节点，通过模态感知的图上下文编码器整合多模态信息与图结构，并将节点模式映射到高级概念表征，从而消除领域特异性和模态特异性，使模型能直接迁移至未见过的多模态图领域。

• CHARM在包含数十亿节点和多种模态的真实工业图中能否保持高效和准确？
• 其零样本迁移效果与少量样本微调方法相比是否有显著优势？
• 是否需要对图结构做特殊预处理才能应用CHARM？
• CHARM的层次上下文建模是否增加推理延迟或计算成本？