VibeWorlding：多模态代理能否端到端构建 3D 开放世界？

该论文提出 VibeWorlding，一个用于从用户查询端到端构建 3D 开放世界的多模态代理框架。包含 VWE-BENCH 基准（含 2616 个 3D 资产、323 个人工标注的种子世界和 6828 条反向合成查询）和 VibeWorlding-Gym 强化学习训练环境。实验显示 GPT-5.5 和 Qwen3.8-Max 等模型成功率低于 60%，瓶颈在 3D 世界编辑。

此前方法多在理想化简单查询上测试，无法系统评估多模态代理理解用户意图、使用 3D 工具和推理的能力。VibeWorlding 提供首个统一基准和 RL 训练框架，并在真实复杂查询下暴露当前前沿模型成功率不足 60%，明确了精度瓶颈，为 3D 内容生成提供了可比较的改进路线。

该框架将多模态代理与 3D 世界构建过程解耦为意图推断、场景布局规划、工具调用和反馈反思等步骤，通过沙盒环境将资产检索、编辑和渲染统一为 MCP 工具，并使用基于规则（rubric）的验证器结合物理可行性和意图满足度评估。这使智能体能在多回合交互中学习，并通过强化学习优化 3D 编辑能力。

对需要从文本生成 3D 场景或虚拟世界的产品（如游戏、VR、设计工具），该研究提供了可复用的基准和训练框架，可指导模型选择和调优。当前前沿模型达不到 60% 成功率，意味着直接使用现有多模态模型的风险较高，需专门优化 3D 编辑组件，或引入 RL 后训练，增加研发成本但路径清晰。

• 基于 VWE-BENCH 构建内部评估集，筛选适合 3D 场景生成的模型，并追踪成功率提升。
• 利用 VibeWorlding-Gym 的 MCP 沙盒环境，进行 RL 后训练以强化 3D 编辑能力。
• 开发面向特定垂直场景（如室内设计）的定制 3D 代理，聚焦编辑精度优化。
• 将 rubric 验证器集成到产品测试流程，自动化检查生成的 3D 世界是否符合用户意图。

• VWE-BENCH 中的 6,828 条查询是否覆盖真实用户分布？
• RL 训练在真实产品环境中能否达到与基准相当的效果？
• VibeWorlding 框架是否支持实时交互生成？
• GPT-5.5 和 Qwen3.8-Max 之外的模型是否也存在编辑瓶颈？