释放多模态大语言模型：无训练的开放世界人体-物体交互检测

传统的HOI检测是监督学习任务，局限于预定交互类别，无法泛化到开放场景。新研究提出AgentHOI框架，无需训练，通过模块化编排视觉基础模型，利用多模态大语言模型的推理能力进行上下文感知多轮推理和多面交互定位，实现了开放世界中的人体-物体交互检测。该框架不学习分类器，而是进行开端的语义推理和空间定位，解决了交互发现不完整和定位模糊的问题。

此前HOI检测依赖标注数据和固定类别，对开放场景适应性差。AgentHOI无需训练即可利用多模态大语言模型的推理能力处理模糊和未知交互，显著提升了检测系统在真实开放环境中的泛化能力，降低了数据与训练成本。

AgentHOI包含两个关键机制：上下文感知多轮推理逐步细化交互假设，确保全面发现组合性HOI；多面交互定位通过生成多个定位候选提升空间定位精度。它将视觉基础模型作为模块，由大语言模型协调进行多步推理，替代了传统的分类器学习。

• 集成AgentHOI到智能监控系统，实现无需预训练类别的新型交互行为实时检测
• 为AR/VR设备提供即时的无训练人体-物体交互理解，增强环境感知能力
• 用于机器人操作场景，无需重新训练即可识别新物体与非预设的人机交互模式

• AgentHOI在高度遮挡、光照极差等极端条件下的实际检测鲁棒性如何？
• 该框架在实时应用中的推理速度能否满足商业化部署需求？
• 与最新的端到端监督方法相比，在标准基准上的定量性能差距有多大？