评测人类与LLM在概念复杂范围综述中的筛选流程：召回与工作量权衡及运行一致性

一项预注册研究在概念复杂的范围综述中比较了人工与LLM标题摘要筛选流程。对1131条记录，人工与两个GPT-5.4文件批次保留42.2-45.0%记录，召回82.3-82.9%；Gemini 3.1文件批次召回最高83.9%，但保留56.7%。两个名义相同的GPT-5.4批次在91.7%记录上一致，但94条记录存在差异，其中29条为已验证合格记录仅被单次运行保留。

此前LLM用于证据筛选多关注召回率，本研究揭示同模型不同处理配置对结果影响显著，且名义相同的重复运行存在差异，影响LLM筛选流程的可靠性与可复现性。

LLM筛选性能取决于具体工作流实现，而非仅模型身份。文件批次比一次性处理能恢复更多合格记录；重复运行存在记录级差异，可能源于模型随机性或输入顺序等，导致部分合格记录被遗漏。

对证据综述工具：需提供可配置的筛选流程，并报告运行一致性；实际部署时需权衡召回与工作量，避免仅依赖单次运行结果，建议多运行合并或人工复核关键记录。

• 开发LLM筛选结果一致性检测功能，标记多次运行中差异记录，提示人工复核。
• 提供文件批次与一次性处理的配置选项，并展示历史召回与工作量对比数据。
• 构建混合人机筛选工作流，用LLM预筛后由专家复核差异记录，以平衡召回与成本。

• 不同模型族的运行一致性差异如何？证据仅涵盖GPT-5.4重复运行。
• 研究中的召回为操作性估算，真实召回率可能不同，对结论影响未知。
• GPT-5.4重复运行的差异是否源于温度等随机性参数，证据未说明。