Agentic BBO 深入观察：面向黑箱优化的 LLM agent 基准测试

该论文提出 AgenticBBO-Bench，一个跨领域 agentic BBO 基准，覆盖合成函数、超参数优化、数据库调优、芯片设计和分子设计，并在统一的有限预算评估协议下比较不同方法。实验显示，agentic BBO 在五个领域中的家族平均分均高于直接使用 LLM 的方法，并在四个领域超过最佳数值优化器。论文还分析了优化工具、任务信息与先验知识、LLM 在搜索中的角色三个因素，并发布包含五个任务的前沿挑战及 Codex agent harness 下七个 LLM 的评测。

此前 agentic BBO 研究使用不同任务领域和系统配置，结果难以横向比较，也无法隔离单项设计选择的影响。该工作首次在统一有限预算协议下跨五个领域评测，使 agentic BBO 与直接 LLM 方法、数值优化器之间的相对表现可被系统比较，并开始拆解影响 agent 表现的关键设计因素。

黑箱优化中目标评估昂贵且受限，LLM agent 通过结合任务语义、计算、优化工具与反馈驱动决策来参与搜索。该基准用统一预算限制所有方法，在相同任务和配置下比较家族平均分，并分别考察工具、任务信息与先验知识、LLM 在搜索中的角色，从而将整体表现差异归因到具体设计维度。

对研发团队而言，是否在优化流程中引入 LLM agent、如何选择数值优化器与工具组合、如何提供任务说明与先验知识，将直接影响优化效果与评估成本。该基准提供了可复用的统一评测协议，有助于在产品选型与研发流程中减少因配置差异导致的误判，并明确 LLM 在搜索回路中应承担的角色。

• 基于 AgenticBBO-Bench 的统一协议，构建面向内部超参数优化或数据库调优的 agent 评测流水线，先小范围验证再决定是否替换现有数值优化器。
• 针对芯片设计或分子设计等昂贵评估场景，优先接入任务语义提示而非具体先验知识，因为证据显示语义普遍有用而具体先验可靠性较低。
• 将数值优化器作为 agent 搜索轨迹的后续吸收环节，利用轨迹收益而非仅依赖额外数值工具，以较低成本提升优化表现。

• AgenticBBO-Bench 是否公开代码、任务细节与完整评测结果，以便复现和横向比较？
• 五个领域中 agentic BBO 未超过最佳数值优化器的是哪一个，差距有多大？
• 论文提到的 GPT-6 Astra 和 DeepSeek-V 等七个 LLM 在 Codex agent harness 下的完整评测结论是什么？
• 在有限预算协议之外，agentic BBO 在真实昂贵评估场景中的单次运行成本与稳定性如何？