把语言模型用作 AI 研究的世界模型

研究提出将语言模型用作 Research World Models（RWMs），用于预测候选研究干预的结果。评估基于九个研究环境、超 2600 条实验记录，覆盖预训练、后训练与推理，合计超 17.1 万 H100 GPU 小时。来自真实实验的研究知识能提升同环境内对未见过干预的预测（Spearman +0.27），并可跨环境复用：仅用 OLMo3、Marin、Nanochat 的预训练经验，就把 Qwen3 环境的选择后悔降低 78%。

此前研究智能体的实验提议能力远超其真实执行能力，受限于实验预算难以持续自我改进。该工作把“预测实验结果”独立为可训练能力，并给出跨环境复用的量化证据，使有限算力下的实验选择从盲目试错转向有依据的排序。

机制是让语言模型从真实实验记录中积累研究知识，对候选干预的结果做预测，从而在固定选择预算下优先挑出更可能成功的实验。消融显示，加入研究知识对干预排序的提升，超过更换模型或单纯增加推理努力，说明收益主要来自实验数据本身而非模型规模。

对做模型训练与评测的团队，可把历史实验记录整理为可复用资产，用于预筛训练配方和超参候选，减少无效 GPU 消耗。跨环境复用意味着小团队也能借助公开或其他项目的实验经验，降低在新模型上冷启动的试错成本。

• 建立结构化实验记录库，统一记录干预、配置与结果，作为 RWM 训练与复用的数据底座。
• 在实验调度流程中加入 RWM 预筛环节，先对候选方案排序再分配 GPU 预算。
• 面向跨模型迁移场景，打包并复用公开实验经验，降低新环境冷启动成本。
• 围绕固定实验预算提供选型建议工具，输出候选实验的预期收益排序。

• RWM 预测在九个环境之外的模型与任务上是否仍保持同等增益，尚未验证。
• 跨环境复用的边界条件不明确，何种经验可迁移、何种不可迁移缺乏说明。
• 预测收益能否转化为最终模型质量的提升，而非仅降低选择后悔，证据未给出。
• 实验数据积累到多大规模才产生稳定收益，成本与收益的平衡点未知。