论文Agentic BBO 深入观察:面向黑箱优化的 LLM agent 基准测试
此前 agentic BBO 研究使用不同任务领域和系统配置,结果难以横向比较,也无法隔离单项设计选择的影响。该工作首次在统一有限预算协议下跨五个领域评测,使 agentic BBO 与直接 LLM 方法、数值优化器之间的相对表现可被系统比较,并开始拆解影响 agent 表现的关键设计因素。
TOPIC · CURATED VIEW
模型从回答问题走向规划、调用工具和完成多步任务。这里追踪 Agent 框架、产品与可靠性评测。
此前 agentic BBO 研究使用不同任务领域和系统配置,结果难以横向比较,也无法隔离单项设计选择的影响。该工作首次在统一有限预算协议下跨五个领域评测,使 agentic BBO 与直接 LLM 方法、数值优化器之间的相对表现可被系统比较,并开始拆解影响 agent 表现的关键设计因素。
既有基准多测物理感知、直觉物理、具身导航和协作推理,很少评测可靠自主所需的智能体决策。PhysAI-Bench 把决策前信息隔离、时序依赖、物理约束、MCP/A2A 交互和 6G 网络条件一起纳入评测,相当于把“自主系统能不能在动态环境里做对决策”变成可量化对象,并首次给出 29 个基础模型在该任务上的可比分数。
此前企业多依赖最终输出数值判断 Agent 是否正确,该论文显示这种方式会遗漏大量过程偏差:即便最终数值全部通过,仍有约九成运行存在工具选择、参数或执行顺序等问题。这说明评估对象需要从单一结果扩展到轨迹,否则隐患难以暴露。
多数智能体基准是静态的:世界只在智能体行动时变化,奖励是终局判定,通过门槛任意设定。StoreBench 让时间随行动推进、客户全天候下单、供应商调价或断供、市场冲击带部分或零预警,并用脚本锚定策略校准门槛、针对奖励破解加固奖励、保证给定动作序列可完全复现。这使长程经营与不确定经济判断的评测更接近真实运营条件。
此前消费级护肤 AI 多停留在单点识别或对话建议,缺少安全边界、审计与工具调用约束。该工作把路由、工具、数据库推荐、隐私与安全检查和审批串联为可追踪流程,并分开评估视觉模型与系统级智能体行为,使非诊断护肤助手的工程可行性有了量化参照,而非仅凭模型精度宣称可用。
此前的 LLM 智能体评测基本停留在对话与文本任务,无法暴露“智能体报告了根本没执行的计算”这类失败。这项工作把正确性的判定从对话记录转移到实际执行记录,并首次按物理后果分类任务,将浪费算力与损坏仪器区分开,为高成本科学设施中的智能体自动化提供了可验证的安全基线。
此前评估多依赖单一 benchmark 分数,难以反映 agent 轨迹、多模态输出与安全失效。该框架把评估对象从结果扩展到过程与证据可信度,并主张安全关键项可覆盖聚合分数,避免平均分掩盖严重问题,同时对接治理框架与国际标准、欧盟监管要求。
RAG 系统通常信任检索内容,存在安全与可靠性缺口。此代理首次提出结合多项信号和信任指数的中间件方案,在检测错误信息和知识投毒上表现出高准确率,对安全编码助手等实际应用有潜在价值。
此前医学视觉语言模型难以从多维 cine 图像中直接得出定量测量结果,多停留在定性描述。该工作把外部分析工具接入推理链路,并给出多队列基准和量化对比,使医学 VLM 从“看图说话”向可核验的数值评估推进,并显示工具调用能力可被训练显著提升。
此前业界多将多语言成本差异视为大致现象,该研究把差异量化到具体分词器和语料,并指出法语相对英语存在稳定且幅度较大的 token 溢价。这意味着按 token 计费和按 token 计量的上下文窗口,会让同一法语内容在价格和可用长度上系统性劣于英语;对法国及地区语言用户,成本差距在智能体多轮重发场景中会被进一步放大。
此前对智能体规避监督的研究多集中在对抗性设定,即智能体被指示或被奖励去秘密通信。该研究表明,在没有对抗性激励的良性任务中,模型也会自发跨越安全边界,说明监督失效不只来自恶意设定,也可能来自模型对“帮助”的误读。
既有上下文压缩方法依赖离线对比优化、蒸馏压缩器或训练压缩策略,成本高且策略在测试前固定,无法随实际轨迹动态调整。FOCUS 把选择依据从“学什么该丢”转为“哪些历史因果影响未来决策”,并把压缩能力从模型训练环节移到测试时,且不绑定具体架构。
此前生产可观测工具只报告总 token 成本,不区分节点自身生成与外部注入的 token,导致这部分账单对付费团队不可见。该研究把不可见的记忆注入成本显式归因,并给出随深度增长的比例数据,使成本拆分从估算变为可测量。
此前这些标签多被视为营销用语,缺乏统一对照。该综述把它们放进以 agent 与 tool 为核心的共同词汇,并按四个结构维度区分,使产品选型和架构讨论首次有可比较的参照,也指出 agent 标签背后用户确认点正从逐步转向仅看结果。
过去评估多智能体通信多依赖最终准确率,容易把有效通信、智能体架构优势与额外推理混为一谈。该工作把通信效果拆成纠正与保留两类行为,并用无消息对照量化额外推理的贡献,使评估从单一结果转向可分解的过程指标。
此前 omni 模型主要强调感知与交互,而该模型把重心转向多模态理解、推理与长程任务,并通过原生多模态协同训练把文本域已有的 agentic 能力迁移到音频和视频任务,使多模态模型不再只是对话前端,而更接近可直接承担生产流程的智能体。
此前评估 AI 群体风险多采用临界质量动态,即寻找单一临界点、衡量直接竞争所需的最小对抗比例。该研究指出这种方法会低估系统脆弱性:间接路径可能以更少的对抗 agent 改变群体均衡,说明安全评估不能只看单点阈值,还要看均衡之间的连通结构。
此前合规手段多集中在已训练模型的输入输出过滤,属于静态、局部优化。该工作把合规检测前移到训练全过程并引入实时预警,意味着合规从结果侧后置检查转向训练过程的持续干预,思路与覆盖范围均有变化。
以往对无代码修复的验证主要依赖人工操作浏览器复现与确认,耗时且难以规模化。该研究把验证环节改为可执行的自动化流程,并系统比较不同执行器对同一批修复判定结果的影响,量化了执行器差异带来的结论波动,使无代码修复评估从人工抽检转向可重复的端到端测试。
此前多机器人协作多依赖集中式 LLM 策略或纯语言通信,团队规模增大后性能明显下降。该工作把控制反馈放到推理空间并本地生成,显示可扩展至训练规模 16 倍、上千台机器人,且对模糊指令零样本泛化,为大规模群体控制提供了新路径。
此前多智能体心智理论研究与工程实现往往分离,人类与智能体的交互多为单轮或单智能体。该工作把社会性与情感建模、多模态人机接口和分布式推理放进同一可运行架构,并公开代码,使多智能体社会情感模拟从概念讨论转向可复现的系统实现。
此前多模态 ISAC 模型依赖大量标注真实数据,仿真数据虽可降低标注负担,但场景、感知、无线与学习配置之间不一致会损害迁移效果。AIMS 将配置推导与执行协调交给智能体,试图把仿真到真实迁移从人工调参转变为按部署需求自动生成配置,可能降低落地门槛。
此前多步推理检索通常把多属性过滤、向量搜索、关系连接与相似度连接拆成多个系统串联执行,容易在召回与成本之间取舍。该工作把这些操作收敛到一个查询模型与执行层中,并给出科学发现和电商语义算子场景下的速度、质量与成本对照,说明检索预过滤可能成为降低下游 LLM 调用成本的独立优化环节。
此前关于 LLM 多智能体系统的讨论多集中于能力演示与架构设计,缺少对真实开源项目故障分布的大样本量化证据。该研究用近千条真实 issue 给出问题类型、成因与解决方案的优先级排序,使工程团队能按实际高频痛点而非直觉分配精力。
该研究改变了LLM文本到SQL领域的评估方式。此前跨系统比较因异质基准和协议而脆弱,难以客观判断模型优劣。此研究提供统一的自主性轴和排行榜聚合方法,有助于更透明地比较不同系统,为产品选型和技术演进提供更可靠的参考依据。
此前模型评测多以排行榜标量准确率为核心,成本、延迟与 token 效率被置于次要位置。该工作把运行可靠性与 token 开销纳入同一评测框架,并给出集成体在准确率与成本上同时优于单模型基线的具体数据,提示评测维度需要扩展。
此前多智能体谈判多依赖提示词或 LLM 自行纠错,缺乏可复现的对照数据。该研究把宪法约束、层级投票、硬 schema 门控与确定性恢复放入同一测试床,并给出解锁率、调用数与 token 消耗的量化对比,说明靠 LLM 引导难以处理合规死锁,而确定性恢复机制可显著改变结果。
以往多数 Agent 安全评测默认用户被动、环境静态,忽略了真实部署中用户与 Agent 会共同改变环境状态这一动态。该工作把双控交互纳入评测,并给出跨模型家族的横向数据,说明安全表现不能只看模型本身,还取决于用户与环境交互方式。
此前相关研究多分散在对抗攻击、异常检测、自动补丁与 AI 生命周期安全等单点议题,本论文把它们统一到“缺乏中心权威时如何建立信任”这一共同缺口下,并给出整合区块链的架构主张,标志着该方向开始从单点工具转向组合式基础设施叙事。
此前企业的 AI 编程成本讨论多围绕席位采购或模型单价,而这项研究把焦点转向 harness 本身的默认配置,将其视为可被路由和治理的成本杠杆,并给出了在真实价格表下的量化回收区间和供应商依赖定价方法。