OSWorld-Science：科学软件学习与使用的计算机使用 agent 基准

研究团队发布 OSWorld-Science 基准与评测环境，用于衡量基于视觉语言模型的计算机使用 agent 在科学软件中的表现。该基准覆盖 12 个 VLM 与 146 个任务，涉及分子绘制、逆合成、病理图像分析、统计计算和物理模拟等工作流，采用基于产物与执行结果的评估器，并对未完成结果给予部分分数。结果显示，即使搭配强 harness，当前最先进 VLM 在科学领域关键问题上仍面临困难。

此前计算机使用 agent 的评测多集中在通用网页或办公场景，缺少科学软件这一高门槛领域。该基准把分子结构、分割掩码、图表和数值结果等可验证产物纳入评分，并公开跨模型、跨交互策略的比较条件，使科学场景下的 agent 能力从主观演示转向可复现测量。

科学软件要求 agent 先理解专业界面，再操作科学对象，并产出可被程序检查的结果。该基准通过专家提议与人工—AI 协同设计筛选任务，用任务专属执行型评估器检查应用状态和生成产物，再以集成模型适配器、交互循环控制和轨迹日志的 harness 统一比较模型与交互策略，从而把科学工作流拆解为可评分的步骤。

对做科研工具、自动化实验平台或多模态 agent 的团队，这意味着需要把评估从对话正确性转向产物正确性，并预留部分得分机制以衡量不完整工作流。研发上要重视轨迹日志、模型适配器和执行环境隔离，产品设计需考虑专业界面理解与科学对象操作的失败点，而非只优化自然语言输出。

• 构建面向科研软件的多模态 agent 评测服务，支持分子结构、分割掩码、图表和数值结果等产物的自动校验。
• 为科学软件厂商提供 agent harness 集成方案，包括模型适配器、交互循环控制和可回放轨迹日志。
• 针对分子绘制、逆合成、病理图像分析、统计计算和物理模拟等场景，开发带部分评分的任务模板与数据集。
• 围绕 VLM 在科学界面操作中的失败模式，提供上下文长度、推理投入和多语言因素的调优与评测报告。

• 该基准的 146 个任务是否公开可下载，评测环境是否可本地复现？
• 12 个 VLM 的具体型号、版本与 harness 配置细节未在摘要中说明，横向比较是否公平？
• 基于产物和部分评分的评估器如何校准，是否会引入人工评分偏差？
• 摘要未给出各模型的具体得分与任务成功率，当前能力上限究竟如何？