OSWorld-Pro：面向计算机使用代理的基于过程评估

arXiv 论文提出 OSWorld-Pro，一套包含 300 多个任务、2800 多个子目标的评测集，基于 67000 多条人工标注，用于对 Computer-Use Agents 进行过程式评估。该评测用与人类对齐的 LLM-Judges 判断子目标完成情况，揭示模型在顺序依赖子目标中的进展。结果显示即使最强模型也有差距：Claude Opus 5 在 OSWorld-Pro 上仅 75.7%，而在 OSWorld 上为 83.4%；论文还识别出子目标无关动作、点击类错误等过程性失败模式。

此前 CUAs 评测如 OSWorld 只看数百步后的最终交付物，用功能验证器判定成败，无法说明代理在何处、为何失败。OSWorld-Pro 把评估粒度从终点结果细化到子目标过程，使不同失败类型可被区分，例如键盘输入出错与点击定位不准对应不同改进方向。

该评测将任务拆解为顺序依赖的子目标，并用与人类标注对齐的 LLM-Judges 逐步判定完成情况，从而在数百步执行中定位失败发生的节点。由于判断依据是过程而非仅最终产物，模型的能力差异可被映射到具体操作类型与步骤，为后续改进提供更细的归因信号。

对构建或使用 Computer-Use Agents 的团队，评测指标将从最终成功率扩展为子目标通过率，可用于定位键盘输入、点击定位等具体失败环节，指导训练数据与动作策略的调整。研发流程上，过程评测可作为迭代反馈，减少只优化端到端结果而忽视中间步骤的问题，但也需承担 LLM-Judges 标注与评测的成本。

• 在自有 CUA 产品的测试流程中引入子目标级评测，按键盘、点击等操作类型统计失败分布。
• 基于过程评测结果构建针对性的失败修复数据集，优先处理高频子目标失败模式。
• 将 OSWorld-Pro 类过程评估接入模型迭代看板，作为端到端成功率之外的辅助指标。

• OSWorld-Pro 的 300 多个任务覆盖哪些具体应用与操作系统环境，证据未说明。
• LLM-Judges 与人类判断的一致率及评测成本如何，证据未给出。
• 论文中除 Claude Opus 5 外的其他模型具体得分与对比情况未披露。
• 过程评测结果能否稳定转化为实际产品性能提升，尚缺少证据。