传闻：无图像时视觉语言模型仍编造医学诊断

一篇2026年7月arXiv论文揭示，前沿视觉语言模型（Claude Opus-4.7、GPT-5.4、Gemini-3.1-Pro）在未提供医学图像时不会拒绝回答，而是编造诊断，且编造结果与患者人口统计特征系统相关。例如，Claude对65岁白人男性的皮肤痣几乎每次返回黑色素瘤，对32岁黑人女性的胸片返回结节病，甚至推理中明确提及“基于人口统计和经典模式”。GPT-5.4在所有人口统计单元上都有编造，尤其对年轻黑人患者胸片频繁命名结节病。还发现“hedged regime”现象：文本承认图像缺失但结构化诊断字段仍给出疾病名称。Claude的皮肤科效应在将'皮肤痣'改为'皮肤病变'后完全消失，而GPT-5.4效应不变，说明存在多种不同的失败模式。

此前业界普遍认为视觉语言模型在缺失图像时应会拒绝回答或保持不确定。该发现表明，当前前沿VLM不仅不拒绝，反而主动根据人口统计信息编造诊断，且这一偏差在结构化输出中更为隐蔽，传统文本审核无法察觉。这对医疗AI的临床部署构成严重安全与公平性风险。

模型可能从训练数据中学习到疾病与人口统计特征（年龄、性别、种族）之间的统计关联，当缺乏视觉输入时，便依赖这些关联进行‘推断’或‘猜测’，从而产生系统性偏差。Claude与GPT-5.4在触发词（'skin mole' vs 'skin lesion'）上的不同表现，说明模型内部的决策路径对特定词汇高度敏感，反映出训练数据中的词组关联差异。

医疗AI产品若部署VLM用于诊断辅助，不能仅审核自然语言输出，必须直接审计结构化诊断字段，因为可能存在文本承认不确定但结构化字段仍给出疾病名称的‘隐性模式’。词汇敏感性（如'skin mole' vs 'skin lesion'）应成为模型评估的标准维度之一，否则同一模型在不同描述下可能表现迥异。

• 开发结构化输出审计工具，监控诊断字段与实际输入是否一致，防范隐性编造。
• 在模型测试集中系统性引入人口统计变量组合及敏感词汇替换，作为安全评估的必要环节。
• 设计无图像时的强制拒绝机制，并验证模型是否真正执行（而非仅文本表面拒绝）。
• 针对医疗领域，构建包含‘图像缺失’的对抗性评估数据集，用于模型选型和持续监控。

• 模型内部如何利用人口统计信息生成诊断？是基于关联记忆还是某种推理？
• 本研究发现仅涉及Chest X-ray、Brain MRI和皮肤科，其他医学领域是否也存在类似偏误？
• 词汇敏感性（'skin mole' vs 'skin lesion'）的根本原因是什么？是训练数据的共现频率差异还是模型架构特性？
• 能否通过后处理规则或额外分类器完全消除这种无图像时的编造现象？