VLM-in-Sandbox：面向智能体视觉推理的视觉工作区

一篇 arXiv 论文提出 VLM-in-Sandbox，一个免训练框架，用于在受控计算机环境中进行多模态推理。它通过 Visual Workspace 将裁剪、掩码、叠加、缩放区域等图像证据登记在 image ledger 中，维护有界的活跃视觉上下文，并让模型显式提升部分证据以便后续检查。在七个基准和四个基础 VLM 上，其样本加权平均准确率最高；在 1260 个样例的对照研究中达到 66.27% 准确率，总 token 比全保留控制少 18.6%。

以往将沙箱式多步推理从语言模型扩展到视觉语言模型时，中间图像证据容易在上下文中无界累积。该工作把视觉证据的生成与管理分离，为智能体视觉推理提供了一种不依赖额外训练、可控制上下文规模的状态管理路径。

视觉推理会产生裁剪、掩码、叠加和缩放区域等图像型中间证据。Visual Workspace 用 image ledger 登记这些产物，只保留有界活跃视觉上下文，并允许模型显式提升选定证据供后续查看，从而把由沙箱工具完成的证据生成与证据管理拆开，避免多模态上下文无限增长。

对涉及截图分析、UI 理解、文档图像处理和视觉智能体的产品，该框架提示可以用沙箱加图像账本的方式控制多模态上下文长度，降低 token 消耗和请求负载。证据还显示本地 vLLM 前缀缓存下，更小的请求负载可减少未缓存 token、首 token 时间和端到端延迟。

• 在视觉智能体产品中引入有界活跃视觉上下文和图像账本，控制长任务的多模态 token 成本。
• 将裁剪、掩码、缩放等中间图像证据登记为可寻址对象，支持模型按需提升而非全部塞入上下文。
• 在本地 vLLM 部署中测试前缀缓存与更小请求负载对首 token 时间和端到端延迟的收益。
• 针对截图、UI 理解或文档图像流程，设计视觉证据生成与管理分离的沙箱流水线。

• Visual Workspace 在更复杂或更长程的视觉任务中是否仍保持有界上下文优势，证据未完整覆盖。
• 302 次 rescues 与 142 次 regressions 的具体任务类型和失败模式未被说明。
• 该框架与不同沙箱实现、工具集或 VLM 版本结合时的泛化能力尚不明确。
• 免训练框架在真实产品环境中的工程集成成本和稳定性缺少证据。