图学习为何未能充分利用文本教师模型的潜力？

研究者尝试将自监督GNN预训练与交替优化语言模型结合，形成多模态模型以提升图学习性能，但实验显示该组合未能充分提升预测性能。研究识别出六个限制因素，包括E步锚点的强度-安全权衡、教师知识未直接注入GCN嵌入、M步表示空间与E步目标不一致、GCN传播平均化文本信息、余弦对齐不保证判别性、保持源侧几何的力等。

此前研究多关注如何将语言模型与GNN联合训练以增强图表示，但此研究揭示联合训练或交替优化并非总能带来预期增益，反而可能因机制不匹配而受限。这提醒研究人员在设计多模态图模型时需谨慎评估收益，并深入理解各组件间的交互。

交替优化中，E步用文本教师更新语言模型，M步用GNN模块更新图嵌入。但教师知识无法直接注入GCN嵌入Z，且M步的表示空间与E步目标不一致，导致表示妥协。GCN的传播机制会平均节点自身文本与邻居信息，可能稀释个体特征。余弦对齐仅保证方向一致，不保证分类判别性。锚点强度存在权衡，过弱无效，过强损害图表示。

对于构建图学习产品的团队，此发现提示不能简单叠加模型组件。需重新设计训练流程，如直接注入教师知识到嵌入、统一M步目标、优化传播策略等。否则产品性能提升有限，甚至可能下降。研发资源需投入在解决这些机制问题而非盲目堆叠模型。

• 开发新的训练框架，使文本教师知识能直接注入GCN嵌入，提升表示质量。
• 设计自适应锚点强度机制，避免过强或过弱锚点损害性能。
• 调整GCN传播规则，减少文本信息的平均化，保留节点个体特征。
• 在M步中采用与E步一致的优化目标，确保表示空间统一。

• 这些限制因素是否在所有图数据或任务类型中都普遍存在？
• 是否有方法能有效解决锚点强度与安全性之间的权衡？
• 直接注入教师知识到GCN嵌入的具体实现方式有哪些？
• 改进传播策略对性能提升的实际幅度有多大？