CARE-Bench：面向患者的LLM分诊基准测试

CARE-Bench是一个面向患者端医疗LLM分诊的基准测试，评估模型在对话中每轮对用户下一步行动的四分类判断。包含500个案例和1059个披露前缀，测试了11个模型在269轮held-out对话中的表现。未提示时宏F1在31.2到50.4之间，提示后提高到46.9到63.4，但仍有大量阈值错误，尤其是在需要追问时，仅33.5%的输出保留了此步骤。

此前医疗LLM评估多关注回答准确性，而CARE-Bench首次从安全角度系统评估分诊中的行动时机，即模型应建议下一步行动而非直接推荐医疗措施，揭示了提示工程无法解决的根本缺陷，对医疗AI部署的安全性具有重要意义。

CARE-Bench将分诊建模为每轮四标签行动任务，使用GPT-5.5映射器对模型输出进行编码。低性能表明模型缺乏对“何时需要更多信息”的判定能力，提示工程虽能提升整体表现，但无法修复关键步骤遗漏，说明行动时机是模型固有弱点，需要专门的评估和训练。

对开发面向患者的分诊AI产品的团队，此基准提供了明确的安全评估指标，可用于部署前测试。模型在追问步骤上的高频失败，警示产品在真实场景中可能推荐过早，需设计人工复核流程或引入多轮追问策略。研发上需投入数据生成与微调，成本可能上升。

• 将CARE-Bench作为分诊模型的必测基准，确保上线前追问步骤保留率达标。
• 开发专门用于增强模型追问能力的微调数据集，并迭代验证。
• 设计混合系统，当模型预测置信度低时自动转接人工或要求用户补充信息。
• 面向医疗机构提供基于CARE-Bench的模型安全评估服务。

• CARE-Bench在真实临床环境中的有效性是否经过验证？
• GPT-5.5映射器的编码准确性是否已与人类专家对比？
• 模型中是否存在特定类型更易产生阈值错误，如专科分诊？
• 提示工程改进后错误类型的具体分布和剩余错误模式如何？