评估大语言模型回答中临床推理表达的量规提案

一篇 arXiv 论文提出用于评估大语言模型回答中临床推理表达的量规，整合三类工作：医学教育评估框架（ART、SCT、Key Feature Problems、OSCE）、临床 LLM 基准（MedR-Bench、HealthBench、TIMER-Bench、DR.BENCH、PrIME-LLM、PatientSafeBench）以及通用 LLM 推理评估研究（Factuality-Validity-Coherence-Utility 分类法、FaithCoT-Bench、C2-Faith）。量规以 groundedness 作为分类法中 factuality 的临床化改编，面向对金标准临床情境题的自由文本回答进行多维评分，含临时行为锚点、适用规则及单独的个案安全关键错误标记。论文声明该量规尚未经过评分者间信度、构念效度或临床实用性检验。

此前临床 LLM 评估多依赖既有基准的任务特定指标，评分维度与决策依据往往不够透明。该提案把医学教育中成熟的行为锚定评估思路引入 LLM 临床推理评价，并将安全关键错误单列标记，使评分决策显式化、可被审查，但其定位是实证检验前的设计披露，而非已验证工具。

机制上，量规借用医学教育中结构化观察与情境判断的评估传统，再叠加通用 LLM 推理评估中的事实性、有效性、连贯性、实用性维度，并把事实性改写为更贴合临床的 groundedness。通过行为锚点和适用规则把自由文本回答映射为多维分数，同时用独立标志捕获个案层面的安全关键错误，避免安全失误被平均分掩盖。

对医疗 AI 产品与研发而言，该量规可作为内部评审与回归测试的候选打分框架，帮助团队在模型迭代中显式记录推理质量与安全错误的判定依据。由于其信度与效度尚未验证，短期内更适合作为人工评审辅助清单，而非自动化评测指标，也不宜直接用于对外合规声明。

• 将量规转化为医疗 LLM 评测平台中的可配置评分模板，供人工评审按维度记录理由。
• 在模型回归测试流程中加入个案安全关键错误的独立标记字段，与总分分开追踪。
• 围绕金标准临床情境题建立内部评测集，用语料对齐该量规的评分维度。

• 该量规的评分者间信度、构念效度和临床实用性何时、以何种方式检验？
• 行为锚点目前为临时版本，后续是否会随实证结果调整？
• 该量规与 MedR-Bench、HealthBench 等既有基准指标如何具体互补或冲突？
• 安全关键错误标记的判定标准和阈值由谁定义？