用多模态大模型零样本判断低分辨率热成像视频中是否有人跌倒

研究在32x24与160x120低分辨率热成像视频上测试Gemini 3.8 Flash和3.7 Flash，按部署时的单次请求方式判断是否发生跌倒，无需任务专用训练。在公开数据集中，部署版在留出受试者上识别出69%的跌倒，且未误报499个非跌倒窗口；在有人居住的房间76小时记录中未误报，但只识别出9次真实跌倒中的4次。

此前跌倒检测通常依赖专门训练的模型，而该研究显示生产级多模态大模型可在零样本、低分辨率、无面部信息条件下承担判断环节，且误报水平较低；同时结果暴露出提示词措辞和分辨率会显著改变灵敏度，说明这类模型已接近可用但尚未稳定。

该方案把热成像视频作为事件触发后的判断输入，直接交给多模态大模型，让它依据画面和声音自行判断是否跌倒，省去为跌倒场景收集标注数据并训练专用分类器的步骤。误报因此可压得很低，但模型的判断会受提示词约束、输入像素数以及同一请求重复推理差异的影响。

对产品团队而言，这种做法可降低专用视觉模型的训练与标注成本，适合在隐私敏感场景作为初筛层；但研发必须把提示词当作产品配置来管理，验证不同提示词的漏报风险，并设定最低分辨率门槛。部署时还应保留人工复核或二次确认流程，因为当前灵敏度仍不足以单独承担告警。

• 在独居老人看护原型中，将多模态大模型作为事件触发后的第二层判断，并记录每次请求的提示词版本，便于回归对比。
• 建立提示词与分辨率的组合测试集，针对“出画面”“躺下”“起身”等易混动作做专项误报与漏报评估。
• 为热成像跌倒筛查加入低置信度转人工复核，并把模型给出的时间定位与解释作为复核辅助信息展示。

• 证据仅涉及一名受试环境的76小时居家记录，更大规模、多住户条件下的误报和灵敏度尚不明确。
• 提示词中删除“走出画面不算跌倒”一句会提高灵敏度，但会误判故意躺下，实际产品应如何取舍尚未确定。
• 模型在8x6像素时灵敏度降至34%，可用的最低分辨率与摄像头安装距离之间如何对应仍不清楚。
• 同一请求有4%的判断不一致，这种随机性在真实告警流程中的可接受范围尚未验证。