重新审视 CLIP 后训练中的对比损失：冻结文本编码器的互补框架

该论文重新审视 CLIP 后训练中对比损失不适用、易灾难性遗忘的既有判断，指出问题主要来自对比温度 τ 取值不当而非负样本不足；据此提出 ComCLIP：冻结文本编码器，单轮训练视觉编码器，结合调好温度的对比损失、对原始 CLIP 的 MSE 锚定损失和来自 DINOv2 的关系蒸馏损失，在零样本分类、线性探测和 MMVP 上取得改进，但图文检索弱于 CLIP-Refine。

此前有工作因小批量下遗忘严重而放弃对比目标、转向蒸馏；该结果指出遗忘主要由温度 τ 引起，温度足够小时对比后训练反而提升预训练 CLIP，从而动摇了弃用对比损失的前提，并给出冻结文本编码器、推理成本不变的替代配方。

机制解释落在 InfoNCE 梯度对温度 τ 的依赖：小批量时负样本不足并非遗忘主因，τ 的量级不合适才是；τ 足够小时梯度更温和，视觉编码器不会被推离预训练表示，再叠加 MSE 锚定保持与原始 CLIP 一致、DINOv2 关系蒸馏补充结构信息，使单轮后训练即可提升特征迁移性。

冻结文本编码器意味着后训练后的视觉编码器架构与推理成本不变，可直接替换现有 CLIP 视觉塔，适合作为 LLaVA 等下游 VLM 的轻量升级路径；单轮训练也降低算力开销，但图文检索变弱，说明替换前需按具体任务验证。

• 在自有视觉编码器上复现 ComCLIP 单轮后训练流程，优先调小 InfoNCE 温度 τ 并对比线性探测指标
• 将后训练后的视觉编码器以 drop-in 方式接入现有 VLM 流水线，验证架构与推理成本是否真的不变
• 针对检索类下游任务保留 CLIP-Refine 或做混合方案，避免直接替换导致图文检索回退

• 证据摘要被截断，ComCLIP 作为 drop-in 替换的完整下游实验结论未给出
• 未确认 τ 的最优取值范围及其在不同模型规模上的稳定性
• 未说明在更大批量或更长训练轮数下结论是否仍然成立
• 缺少与更多后训练方法的对比，仅报告了与 CLIP-Refine 的比较