LLM能否设计高质量实验？一项关于自主实验设计的综合基准研究

研究人员提出SCOPE，一个基于19个领域300篇顶级论文的科学实验设计评估基准，测试LLM在高层次规划完整性和低层次配置准确性上的表现。结果显示多数LLM无法直接设计高质量实验，且存在低层配置瓶颈，搜索模式无改善。为此提出OptED智能体工作流，通过阶段隔离、工具增强和规则约束优化实验设计。

此前AI for Research研究多聚焦代码实现，忽视实验设计阶段，且缺乏系统评估基准。SCOPE填补这一空白，首次量化LLM在实验设计上的能力边界，揭示现有模型局限，推动AI自动化科学研究向完整工作流发展，为相关产品提供评估标准和改进方向。

SCOPE从顶级会议论文中提取实验设计要素，分别评估高层次规划（主实验、消融、分析实验）和低层配置（数据集、基线、指标）。发现LLM在低层配置上普遍表现不佳，可能因为该部分需要更细致的领域知识且缺乏预设约束。OptED通过将实验设计分解为独立阶段、引入外部工具和规则约束，缓解配置瓶颈，提升设计质量。

对于研发AI辅助科研工具的产品经理，本研究表明现有LLM直接用于实验设计效果有限，需集成类似OptED的工作流来提升可靠性。同时，SCOPE可作为产品评估基准，指导功能迭代和模型选型，避免盲目依赖LLM自主设计实验。

• 开发集成OptED工作流的实验设计助手，提供阶段化引导和工具支持，帮助科研人员快速生成实验方案。
• 基于SCOPE基准建立LLM实验设计能力评估服务，供科研团队选择适合的模型或配置。
• 在现有AI4Research平台中增加实验设计模块，弥补代码实现之外的规划短板。
• 针对低层配置瓶颈，构建领域特定的数据集、基线和指标知识库，辅助LLM生成更合理的配置。

• OptED在不同学科领域的实际提升效果是否一致？
• SCOPE基准是否覆盖所有主流实验设计类型？
• LLM在低层配置上的瓶颈是否可通过更大模型或微调解决？
• OptED工作流对用户交互复杂度和成本有何具体影响？