超越执行：审计 LLM 驱动科学研究的实验保真度

arXiv AI 于2026年8月27日发布论文，提出 ABE-Ralph 审计框架，用于检测 LLM 智能体在科学研究中的方法幻觉，如缩减数据集或训练预算、用查找表替代组件等。在30次长期重现运行中实现93%的稳健执行率，并在23项 NatureBench 任务中5项达到或超越最先进水平。

此前评估 AI 科学家多关注代码能否运行或指标是否合理，忽略了实验是否忠实执行参考方法。该研究证明智能体常产生方法幻觉，如静默缩减数据或替换失败组件，导致结论失效。ABE-Ralph 提供系统化审计框架，填补了这一评估空白，对 AI 科研的可靠性有实质影响。

ABE-Ralph 通过将论文中的主张、协议、必需组件、基线和指标表示为结构化实验约束，并采用8步工作流指导实现，结合定量、定性和代码级验证，识别科学失败模式。其核心机制是引用锚定，确保实验设计忠实测试原论文主张，而非仅以代码执行或表面指标作为科学成功证据。

对依赖 LLM agent 做科研或自动化实验的产品，需引入类似审计机制，确保实验保真度。否则，产品输出的研究结论可能因方法幻觉而不可靠，影响研发决策。同时，增加了评估成本，但降低了错误结论带来的长期风险。

• 为 LLM 科研 agent 开发集成 ABE-Ralph 式审计模块，提供实验保真度报告，作为产品差异化卖点。
• 构建参考实现库，将常见 ML 论文的协议和约束结构化，供 agent 自动对齐，减少方法幻觉。
• 面向企业研发团队提供 AI 科研审计服务，帮助验证自动化实验的可靠性，提升信任度。
• 在 agent 工作流中嵌入 8 步验证流程，并将失败模式可视化，帮助用户识别不可靠结论。

• ABE-Ralph 在非 ML 领域（如生物实验）是否适用？
• 93% 的稳健执行率在更大规模任务上能否维持？
• 审计框架的计算和时间开销是否会影响实际部署？
• 该方法能否有效防御恶意设计的幻觉，而不仅是疏忽？