领域专用大语言模型在精神科患者问答中的表现研究

一项研究开发了名为“MIND”的领域专用大语言模型，仅使用权威医疗机构患者教育资料训练，用于回答精神科药物问题。在计算机和精神病学专家评估中，MIND在完整性上优于ChatGPT，但在准确性上与ChatGPT相当，安全性无差异。专家更偏好ChatGPT的回复（57.6%），但MIND仍被认可安全、准确和完整。

此前医学LLM多通用，本研究首次展示仅用患者教育资料微调的专用模型（MIND）能达到与ChatGPT相近的安全和准确性，但专家偏好通用模型，说明领域专用在用户体验上未必占优，为医疗AI产品设计提供实证。

MIND通过受限训练数据确保临床忠实度，但可能因回答过于保守或模板化而降低可读性；ChatGPT凭借通用能力在准确性和偏好上占优。测评显示专用模型可保安全，但偏好差异提示需平衡专业性与用户适应性。

对医疗问答产品，领域专用模型可提升完整性和安全性，但需优化表达以提升医生偏好；研发中应结合通用模型与领域微调，并纳入医生偏好评估，否则可能影响采纳率。

• 基于MIND思路，针对特定疾病开发患者教育问答模型，先通过专家评测优化响应风格。
• 在产品中加入医生偏好反馈机制，动态调整模型输出长度和用词，提升专业认可度。
• 将领域专用模型作为筛选器，先过滤高风险回答，再结合通用模型生成用户友好回复。

• MIND在除艾司西酞普兰外的药物或疾病上是否仍表现良好？
• 偏好差异是否由回答长度、语言风格或具体内容导致？
• MIND的临床忠实度是否会在更大范围测试中保持安全优势？