WhatWorkedBench：评测 AI Agent 对实验变化的理解能力

研究者发布 WhatWorkedBench，用预算有限的实验来测量 AI Agent 对组件改动如何影响结果的预测能力。任务要求 Agent 查看代码、选择测量点并提交响应面表格。基准覆盖 30 个数据源、36 个任务、8 种工作流，共 1248 条配置记录。评测使用高斯过程后，原始 Flash 队列的效果恢复度从 0.632 升至 0.698。

以往评测多考察 Agent 能否跑通实验或写对代码，较少检验它是否真正理解各组件的作用。该基准把“理解”定义为对未测配置的预测准确性，并用穷举 CPU 执行提供参照效应，使实验理解成为可量化的对照指标。

基准通过穷举 CPU 执行，在固定其他组件的前提下测量单个组件变化带来的效应，再让 Agent 提交全配置的响应面预测，以此对比其预测与真实效应的差距。这一设计把实验理解拆成可核对的数值任务，便于比较不同推理方法的效果。

对做 AI 实验平台、AutoML 或研发自动化工具的团队而言，这意味着可以引入可量化的实验理解评测，用来选择采样策略与推断模型。高斯过程、成对效应岭回归等选择会直接影响 Agent 的推荐质量，进而影响实验预算与研发迭代成本。

• 在实验平台中加入响应面预测评测模块，用少量测量点检验 Agent 的组件效应预测能力。
• 将代码等价性编码接入 Agent 的推断流程，利用行为相同配置减少无效测量次数。
• 面向内部研发团队提供基于该基准的选型测试，比较多组采样与推断方法的效果恢复度。

• WhatWorkedBench 是否已公开数据集与评测代码，第三方能否稳定复现文中数值。
• 0.698 与 0.455 等恢复度指标在实际研发流程中对应多大的效率收益尚不明确。
• 基准任务多来自 30 个数据源与 8 种工作流，能否外推到真实大规模训练与部署场景仍待验证。