面向多模态大语言模型的合规视觉空间规划

本论文提出RuleMaze基准，用于测试多模态大语言模型在显式或未见过的规则约束下进行视觉空间规划的能力。该基准要求模型理解空间布局、解释自然语言规则并规划有效行动。论文还提出Language-Logic-Function Hybridization方法自动生成规则，以及Disentangled Multimodal Planning（DMP）方法分离感知、执行和规则验证，实验显示DMP相比端到端文本规划基线显著提升了规则遵循和规划成功率。

现有研究多关注多模态模型的感知和对话能力，对其在规则约束下的空间规划能力探索不足。RuleMaze提供了系统评估该能力的基准，DMP方法通过分离组件提升了泛化性和可解释性，为开发更可靠、可追踪的多模态决策系统奠定基础。

DMP通过将感知、执行和规则验证分离为可解释的推理原语，每个环节可独立优化和检验。这种解耦设计使模型在遇到复杂或未见过的规则时，能系统地组合已有能力，而非依赖端到端的黑箱决策，从而提升规则遵循率并留下中间规划轨迹。

该研究可帮助开发者设计更稳健的多模态交互产品，尤其是需要遵循复杂规则的应用（如智能助手导航、机器人控制）。DMP的透明中间步骤便于调试和审计，降低因规则误判导致的风险。自动生成规则的方法减少了人工构建测试集的工作量，加速产品验证。

• 基于RuleMaze建立内部评测集，用于检验多模态模型在规则约束下的空间规划能力，定期追踪模型迭代效果
• 借鉴DMP的组件分离思路，在现有产品中引入可解释的规划层，提升用户在关键决策场景的信任度
• 利用自动规则生成技术，快速构建针对特定业务规则的压力测试集，加速模型上线前的合规验证

• RuleMaze中的规则复杂度范围未具体说明，是否覆盖真实世界任务中的规则类型？
• DMP方法在何种规模的多模态模型上验证有效，是否适用于轻量级端侧部署？
• 实验对比的具体基线数量和改进幅度数据未给出，影响效果量化判断
• 规则验证器的构建成本和对新规则的适应能力未提及