探索还是确认？LLM agent 在噪声下错配测量预算

论文提出 Wellocate 模拟实验基准，在生成景观与经过打乱的 GB1、PhoQ 蛋白数据集上，测试五个语言模型作为无工具、仅依赖提示历史的极简 agent，在固定预算下于探索新候选和复测确认之间做选择。结果显示模型在两个方向上误分配测量预算：三个模型过度确认、把多数预算用于复测；一个在生成景观上确认不足、过度信任单次读数，且所有模型最终选择都不如基础脚本策略。

以往对 agent 的评估多集中在信息检索或代码任务，这里把评估放到带噪声读数的实验预算分配上，并给出真实蛋白数据集与已知真值的对照环境。它揭示了“多测几次”并非默认正确：过度确认与确认不足会同时出现，且基础脚本策略能胜过所有被测模型。

每次实验返回带噪声的读数，高值既可能来自好候选，也可能来自运气。固定预算下，agent 必须权衡试新候选与复测旧候选；过度确认者因缺少可试的新候选而反复复测，确认不足者则把单次读数当作可靠信号。证据显示，提供未尝试候选清单能减少复测并改善部分模型选择，而运行摘要或景观描述的影响不超过五个百分点；最后一轮补测只能挽回约四分之一误选损失，说明确认需要贯穿整个流程。

对构建实验型或数据采集型 agent 的产品团队，这意味着需要在流程中显式管理候选池与复测节奏，而不能只依赖模型自行判断；评估时应把预算分配策略与基础脚本基线对比。研发上可优先加入未尝试候选列表等结构化状态，而非仅靠更强的摘要或环境描述来提升选择质量。

• 在实验编排类 agent 中加入“未尝试候选清单”字段，并在真实蛋白数据场景验证复测比例与最终选择质量的变化。
• 把复测确认设计为贯穿全流程的固定环节，而不是仅在末尾增加一轮补测，并测量其对误选损失的实际挽回比例。
• 基于 Wellocate 的冻结切分与脚本基线，为候选选择 agent 建立预算分配回归测试，防止模型版本更新后过度确认或确认不足。

• Wellocate 的冻结切分与脚本策略细节尚未在证据中给出，基线强度是否可复现仍待确认。
• 未尝试候选清单对另外两个模型及生成景观场景的效果，证据仅提到在真实蛋白数据上两个模型选择明显改善。
• 结论是否适用于带工具、带外部记忆的 agent，证据仅覆盖无工具、无额外记忆的极简设置。
• 五个语言模型的具体名称与版本未在证据中列出，难以判断结果对当前主流模型的代表性。