大语言模型提升医生准确率但引发错误依赖

研究团队开发了检索增强大语言模型 CORA，用于辅助医生决策。在 46 名医生的研究中，CORA 将诊断准确率从 70.8% 提升到 82.6%。支持性引用能提高正确建议的采纳率，但错误答案附上引用时，医生的抵抗力从 92% 下降到 34.8%，产生安全风险。

此前认为引用来源可提高可信度，但本研究揭示引用可能误导医生对错误答案的信任。这种“基于来源的危险”表明，带有引用的 AI 辅助在医疗等高风险场景中需要额外的安全机制，否则可能增加误诊风险。

医生决策时依赖模型提供的引用作为证据，但引用本身无法保证答案正确。当错误答案附有引用时，医生可能因为来源看起来可信而过度信任，导致抵抗错误建议的能力下降。这属于“自动化偏见”的一种形式，即人类对系统输出的过度依赖。

在开发医疗 AI 产品时，必须注意引用功能的双刃剑效应，不能仅通过添加引用来提升可信度。产品需设计置信度提示或验证机制，帮助医生识别可能错误的答案，减少对引用的盲目信任。

• 在 AI 辅助决策工具中，对低置信度或可能错误的答案提供明确的警告标识或二次确认流程。
• 开发引用质量评估功能，自动标记引用可能不支持的答案，降低错误的采纳率。
• 在培训中强调引用的局限性，帮助医生理解引用并非正确答案的保证。

• CORA 在新病例（训练数据截止后）上的表现提升具体幅度是多少？
• 错误引用在多大比例上导致最终诊断错误？
• 是否有方法在不降低准确率的同时减少医生对错误答案的依赖？