- 类型
- 论文
- 来源
- arXiv AI
- 发布
- 2026年10月1日 03:18
- 状态
- 单一信源
发生了什么
arXiv 论文《Can AI Scientists Coordinate at Runtime?》提出 Runtime Agent Coordination(RAC),在 AI 科学家系统执行过程中从既有 host 中选择 agent、分配限定范围的工作契约,并提供基于产物的验证。作者在 ResearchClawBench 上对 Agent Laboratory、EvoScientist 和 ARK 做单随机种子探索性评估,分四种累积条件:原生执行、运行时通信、运行时选择、契约与验证叠加。结果显示运行时选择在每个 host 上取得最高观测平均分,而加入契约和验证会拉低均值。
为什么重要
此前多 agent AI 科学家多采用设计时固定工作流编排,分工在任务开始前就确定,与人类科学家在执行中调整分工的方式不同。该工作把协调动作移到运行时,并首次在此设置下对比通信、选择、契约与验证四种机制,给出的信号是运行时选择有效,但额外协调机制在受限预算下未必增益。
底层逻辑
RAC 不重写 host 的模型、工具与权限,而是在执行中挑选 agent、下发限定范围的 work contract,并用产物作为验证依据;验证结果传递给后续 agent,但不阻塞状态转换,也不丢弃中间产物。这样协调开销被限制在 host 校准预算内,因此选择机制带来收益,而契约与验证叠加可能因预算分摊而削弱表现。
产品与商业机会
对构建多 agent 科研或自动化流水线的团队,这意味着编排层可以做成运行时而非写死的工作流,产品可把 agent 选择作为可替换模块接入现有 host。同时结果提示不要默认叠加更多协调机制,需按预算实测;评估应固定 host 工具与权限,并关注单种子结论的稳定性。
- 在自有多 agent 流水线上做 A/B:固定工作流对比运行时选择 agent,按相同 token 与工具预算衡量任务得分。
- 将 agent 选择与工作契约、产物验证拆成可选开关,允许按 host 单独启用,避免一次性全量叠加。
- 复用公开仓库中的 RAC 实现,接入自家 host 做小规模复现,先验证选择环节的收益是否可迁移。
- 在评估环节记录每次协调带来的额外调用与延迟,把协调成本纳入产品定价与配额设计。
仍待确认
- 论文仅用单随机种子做探索性评估,运行时选择的优势能否在多随机种子与更多任务上复现?
- 为何加入契约与验证会降低平均分:是预算被分摊、验证噪声,还是 host 特性差异?
- 在更高 token 或时间预算下,契约与验证是否可能转为正收益?
- RAC 在 Agent Laboratory、EvoScientist、ARK 之外的 host 与真实科研任务上是否同样有效?