cua-speedrun：计算机使用代理速度的标准化基准测试

arXiv 论文提出 cua-speedrun，针对 Computer-Use Agents（CUA）的速度与成本评估难题，提供标准化基础设施与任务集。它使用统一的虚拟机配置、执行流程和通用 agent 接口，使单 agent 实现能跨不同 benchmark 运行，并在四个 CUA benchmark 上评估推理强度、agent harness 和环境延迟对性能、速度与成本的影响。

此前 CUA 能力评测多在复杂且机器与容器配置不一的基础设施上进行，执行速度难以复现和横向比较。该工作把速度与成本作为首要评测目标，并用统一环境与接口降低混淆因素，使不同 agent 和模型之间的效率对比更有依据。

不同机器与容器配置会干扰 CUA 的执行速度测量，导致结果不可复现。cua-speedrun 通过统一虚拟机、统一执行管线和通用 agent 接口，把基础设施差异控制在固定条件内，再比较推理强度、agent harness 与环境延迟等变量对速度、性能和成本的作用。

对研发和产品团队而言，选择 CUA 模型与 harness 时不能只看任务成功率，还需在统一环境下测速度与成本；推理强度和环境 I/O 延迟对完成时间的影响可能非线性，需纳入端到端流程调优与部署预算评估。

• 在内部 CUA 选型流程中引入统一虚拟机与执行管线，分别记录任务成功率、完成时间和单任务成本。
• 针对高延迟环境测试不同 reasoning effort 与 agent harness 组合，建立速度与成本的配置推荐表。
• 基于通用 agent 接口把现有单 agent 实现接入多个 benchmark，减少跨评测环境适配工作。

• 论文所提出的统一虚拟机与执行管线能否覆盖真实生产环境中的 GUI 应用差异？
• 推理强度提升反而加快任务完成、以及更快环境 I/O 反而拖慢整体完成时间，这两项结论在四个 benchmark 之外是否稳定？
• cua-speedrun 能否在不显著损失评测区分度的情况下压缩多数 CUA benchmark 的评估任务集？
• 目前没有开源模型处于前沿，这一结论是否随模型迭代快速变化？