截图还是工具？混合GUI-MCP计算机使用代理中的工具调用与多模态上下文管理

一篇arXiv论文研究混合GUI-MCP计算机使用代理，比较通过截图操作与调用MCP工具的效果。在OSWorld-MCP基准（309个任务）中，相同工具使推理模型提升4.0个百分点，却使非推理模型下降5.9个百分点，差异源于工具决策行为。推理模型仅在55/309任务中调用工具，存在采用缺口。通过多轮RL，工具奖励可提升行为，但不提升能力。压缩上下文可将输入成本减半且不损失精度，压缩后代理准确率达37.8%，优于未压缩的33.0%。

此前普遍认为提供工具即能增强代理能力，但本研究证明工具可用性并不保证效果，推理模型与非推理模型表现相反，提示工具调用决策是核心瓶颈。此外，上下文压缩在不损失准确率的情况下大幅降低成本，为代理效率优化提供新思路。

模型已有更廉价的路径（截图）且从未被训练去调用工具，导致采用缺口。密集工具奖励可改变行为（如电子表格工具采用率提升），但无法提升能力，瓶颈在工具调用语义。成功调用工具后截图冗余，压缩图像历史可削减输入，重新训练可恢复精度。

对依赖多模态代理的产品，可考虑减少图像输入以降低token成本（达47%），同时保持模型性能。需警惕非推理模型的工具误用风险，推理模型虽更可靠但工具采用率低，需针对性训练。产品可设计观测规则或将工具调用集成奖励，提升行为可控性。

• 在混合代理中引入上下文压缩策略，自动丢弃冗余截图，降低API成本。
• 为推理模型设计工具调用训练奖励，提高工具采用率，同时保持性能。
• 为非推理模型增加工具决策校验机制，减少误调用、错命名或错误终止。
• 在多轮RL中集成密集工具奖励，提升特定任务（如电子表格）的工具使用效率。

• 压缩上下文在更复杂、更长的任务链中是否仍能保持效果？
• 密集工具奖励的行为改善是否能泛化到未见过的任务？
• 推理模型工具采用率低是否可通过提示工程而非训练解决？
• 对照实验中推理模型性能提升是否归因于工具本身而非模型能力差异？