Jev 能否评判放射报告？System One 模型在临床事实性上的评估

一项 arXiv 论文研究 Jev 这一 System One 决策模型作为放射报告事实一致性评判者的表现。评估器逐句检查一条陈述是否被另一份报告支持，并双向合并判断，以捕捉无依据结论与遗漏。单问题配置在 RadEvalX 与 RadEvalExpert 上对专家错误计数的 Kendall 相关系数分别为 0.573 和 0.398，优于开放自然语言推理评判器；每句仅用一个支持性问题可减少 43%–45% 的判定输入 token，按 API 定价每百对报告成本不足三美分；在受控错误测试中，Jev 检测虚假否定达到 0.977 的 AUROC。但在临床显著错误和总错误上，本地 RadMatch 在专家数据集中的一致性更强。

生成式放射报告可能读起来像医生所写，却遗漏异常、加入无依据发现或颠倒结论，因此事实差异测量是评估报告生成器的关键环节。此前多用通用自然语言推理模型做评判，这项研究给出低成本专用评判方案，并同时指出基准一致性与医学错误检测并不等同，取决于报告长度和错误定义。

Jev 以逐句双向支持性判断为核心：正向检查一条陈述是否被对方报告支持，反向捕捉遗漏，从而把无依据断言和漏报分开计量。将多问题压缩为单个支持性问题后仍保持接近的专家一致性，说明判定输入 token 的边际收益有限；而 RadMatch 在临床显著错误上更强，表明错误定义和报告规模会系统影响基准分数。

对医疗 AI 产品团队而言，可用低成本、低 token 的 LLM 判定组件做报告生成回归测试与人工审核前置筛选，并在每百对报告不足三美分的 API 成本下扩大评估样本量。但需注意其与专家在临床显著错误上的一致性弱于 RadMatch，关键漏报和虚假否定仍应保留人工或更强评估环节。

• 在放射报告生成产品的 CI 流程中集成 Jev 双向支持性判定，自动标记无依据发现与遗漏，按周追踪事实一致性变化。
• 针对虚假否定等高风险错误建立专门测试集，参考 0.977 AUROC 的场景验证评判器上线门槛。
• 将 Jev 用于候选报告初筛，把专家审核集中在 RadMatch 或人工复核分数不一致的样本上。
• 把每句单支持性问题的判定配置作为默认以节省 token，仅在分歧样本上启用多问题判定。

• Jev 的模型规模、训练数据与是否可本地部署未在证据中说明，实际部署成本与合规路径仍待确认。
• RadEvalX 与 RadEvalExpert 的样本量、报告类型和专家标注流程未披露，Kendall 相关系数的稳定性尚不清楚。
• 将单问题配置扩展到医院真实工作流后，是否仍保持同等专家一致性缺少前瞻性验证。
• 本地 RadMatch 与 Jev 组合使用时的最佳分工阈值和误报成本尚未量化。