重新思考智能体工具集进化的评估

一项研究重新评估了LLM智能体的自动工具集进化（harness evolution）的评估方法。现有方法使用单元测试搜索工具配置并在同一公开基准上报告最终性能，但该研究指出这存在两个问题：首先，进化过程本质是迭代搜索，应与简单任务级搜索基线在相同反馈和推理预算下比较；其次，搜索与评估共享基准存在过拟合风险。在Terminal-Bench 2.1上使用GPT-5.4和Claude Opus 4.6的实验显示，自动工具集进化并没有持续优于简单的测试时缩放方法，且泛化能力有限。研究呼吁更公平的评估协议和基准。

此前自动工具集进化被视为提升LLM智能体性能的有效手段，但该研究表明其提升可能主要来自额外的搜索计算而非更优的工具设计，且存在过拟合特定基准的风险。这挑战了现有评估方法的有效性，促使业界重新审视agent优化策略的真实价值。

自动工具集进化是一个迭代搜索过程，通过反复评估和修正候选工具配置来优化性能。当与简单的测试时缩放（如多次采样后投票）在相同反馈和推理预算下比较时，进化方法并未表现出额外优势。同时，由于搜索和最终评估共用同一基准，进化后的工具集可能过度适配该基准，导致泛化能力不足。

开发基于LLM agent的团队若采用自动工具集进化来优化agent行为，需重新评估其投入产出比。简单的测试时缩放方法可能是更经济的选择。此外，评估agent产品时应使用独立、多样化的测试集，避免单一基准导致的性能虚高。

• 开发公开、独立的agent评估基准集，避免过拟合风险，并支持跨方法比较。
• 构建结合简单搜索与进化策略的混合优化框架，在相同预算下验证泛化能力。
• 推出标准化agent性能比较平台，提供公平的反馈和推理预算配置。

• 自动工具集进化在哪些特定任务或领域仍能带来优于简单搜索的收益？
• 如何设计实验区分改进来自工具设计还是搜索计算量？
• 现有agent基准（如Terminal-Bench 2.1）是否足够多样化以反映真实场景？