- 类型
- 论文
- 来源
- arXiv AI
- 发布
- 2026年8月3日 15:04
- 状态
- 单一信源
发生了什么
Qwen团队发布Qwen-CUA计算机使用智能体,基于397B-A17B的MoE模型,仅通过截图观察和键盘鼠标操作,无需DOM树等辅助信息。在OSWorld-Verified上得分86.2,OSWorld 2.0上得分18.5/48.4,优于Qwen3.7,并与领先专有系统相当。扩展至万亿参数得到Qwen-CUA-Max,得分提升至87.6和21.2/53.3,同时将RedTeamCUA攻击成功率从36.6降至16.4。
为什么重要
这是首个基于MoE架构的原生计算机操作智能体,仅依赖截图和鼠标键盘事件,摆脱了DOM树等结构化依赖,同时通过超大规模云环境和可验证任务训练,在多个基准上达到或接近专有系统水平,标志着开源模型在通用计算机操作能力上的重要进展。
底层逻辑
通过截图输入和鼠标键盘输出,模型需长期跟踪屏幕状态并规划动作。训练采用近10万vCPU的云环境,构建约4万可验证任务,并使用完整轨迹优化和轨迹切片,配合迭代训练刷新数据并校准强化学习任务。推理时维护最多20张活跃截图,并将旧视觉信息折叠为固定大小块,以保留近期证据并复用提示前缀。
产品与商业机会
对于产品开发者,Qwen-CUA提供了一种无需API或DOM依赖的通用操作能力,可直接部署于浏览器或Bash环境,降低集成成本。其性能接近专有系统,可替代部分RPA工具,但也需要大量计算资源(近10万vCPU训练),部署时需考虑推理成本。安全改进(攻击成功率降低)增强了可接受度。
- 将Qwen-CUA集成到自动化测试工具中,用于网页界面回归测试,减少对DOM选择器的依赖。
- 构建基于截图的桌面应用RPA助手,实现跨平台自动化操作,无需厂商API支持。
- 利用其安全性能优势,开发企业级操作审计系统,监控并限制智能体对敏感系统的访问。
- 针对个人场景提供“屏幕助手”服务,通过自然语言指令操作电脑,替代传统宏或脚本工具。
仍待确认
- Qwen-CUA是否开源模型权重或提供API接口?
- 在长会话中,最大连续操作步数和上下文窗口限制是多少?
- OSWorld-Verified得分86.2的具体评测环境与硬件要求?
- RedTeamCUA攻击测试的具体内容和评估方法?