超越判定：基于图的人类与LLM科学事实核查推理分析

arXiv 上发布了一项研究，提出一种基于图的框架（typed reasoning graph）来比较人类专家与大型语言模型（LLM）在科学事实核查中的推理路径。该框架基于 MISSCIPLUS 数据集，将解释建模为推理图，实现人类与 LLM 推理在谬误子图层面的一对一比对。研究使用 84 条虚假声明评估了 GPT-5、Claude Opus 4.7 和 Qwen3-32B，发现各模型表现维度各异：Qwen3-32B 的判定失败率最低，GPT-5 的人类对齐度最高，Claude Opus 4.7 在成功案例中推理有效但判定预测较弱。

此前自动事实核查系统主要关注判定结果及其解释，不比较模型推理路径与人类专家的差异。该研究首次引入推理图框架，在谬误子图层面逐一对齐人类与 LLM 推理，为评估模型推理质量提供新维度，有助于识别模型是否遵循与人类相同的推理逻辑，提升科学事实核查的可信度。

框架将解释结构化为推理图，链接虚假声明、研究背景、研究结果、支撑前提及谬误标签，支持细粒度的对齐比较。对于未与人类对齐的路径，验证其是否扎根于原文、与声明相关且充分支持判定。通过 84 条样本评估，揭示不同模型在判定准确性与人类对齐度上的权衡。

对研发而言，该框架可集成到事实核查产品中，提供推理路径可视化与对齐评分，增强输出可解释性。对模型选型有指导意义：若重视人类对齐，可优先 GPT-5；若追求低判定失败率，Qwen3-32B 更优。但需注意计算成本与标注数据需求。

• 开发基于推理图的可视化工具，展示模型核查路径与人类专家的对齐度，增强用户信任。
• 在事实核查API中加入人类对齐评分指标，作为除判定结果外的附加输出，满足企业合规需求。
• 针对不同场景提供模型推荐配置：需要高解释性时选用GPT-5，需要高准确性时选用Qwen3-32B。
• 基于该框架训练小型模型，使其在不牺牲推理质量的前提下降低推理成本。

• 该框架是否适用于非生物医学领域（如金融、科技）的事实核查？
• 推理图对齐度的计算是否依赖人工标注，自动化程度如何？
• 研究中使用的模型版本（如GPT-5）是否已公开可用，实际性能是否与论文一致？
• 框架是否支持多跳推理或跨文档推理，还是仅限单文档？