PhysMind：从视频到可执行世界，实现免训练物理推理

arXiv 论文提出 PhysMind，一个无需训练的代理框架，能从视频构建可复用、与问题无关的可执行世界，通过对象分割、网格重建和 6D 姿态追踪恢复动态场景，并拟合解析动力学，从而进行物理推理。在 CLEVRER 和 Physion++ 上相比直接思维链推理分别提升 38.23 和 8.08 个百分点，反事实问题超出 GPT-5.5 达 19.25 个百分点。

此前视觉语言模型在物理推理上常困于动态理解和反事实预测。PhysMind 通过构建可执行世界，无需训练或模拟器展开，即可更准确地回答未来与干预问题，显著提升性能，为视频物理推理提供了新范式。

PhysMind 通过对象分割、网格重建和 6D 姿态追踪构建时空一致的动态场景，再拟合解析连续时间动力学和潜在物理参数，从而获得可编辑、可继续的世界模型。回答问题时可检查、继续或编辑世界，从轨迹和交互中得出答案，避免了逐时间步模拟的开销。

对于涉及视频理解的 AI 产品，PhysMind 可直接提升物理推理准确率，尤其改善反事实问答能力。其免训练特性可降低集成成本，无需重新训练视觉语言模型，适合作为中间推理层嵌入现有系统，加速产品迭代。

• 开发基于视频的物理问答 API，利用 PhysMind 增强机器人或自动驾驶场景中的干预预测。
• 将 PhysMind 集成到视频标注工具中，自动生成动态场景的解析运动轨迹，辅助人工审核。
• 构建教育类应用，通过 PhysMind 对物理实验视频进行反事实推演，提升互动学习体验。

• PhysMind 在真实世界视频上的泛化能力如何，是否依赖特定拍摄条件？
• 构建可执行世界的计算成本和延迟是否影响实时应用？
• 论文未披露不同硬件上的性能，实际部署需要多少算力？