Frame Evidence：多图空间推理的参照系与视觉证据基准

arXiv 收录论文 Frame Evidence，提出面向多图空间推理的基准，包含 320 组匹配三元组与 960 道中文选择题，取自实拍与渲染场景，并用联合指标要求模型在三种参照系与配对证据变体上同时答对。在 288 道留出题、20 种配置中，GPT three-shot 单题准确率 50.00%，但最佳三参照系组准确率仅为 5/48（10.42%），由 GPT two-shot 取得。

此前多图空间推理评测多以单题准确率为主，容易掩盖模型在参照系变化或证据增删后是否仍保持正确。该基准用匹配三元组和配对证据变体，把参照系与视觉证据拆成可对照变量，并给出联合指标，暴露出单题分数相近但成组正确率很低的差距。

同一空间答案同时依赖语言指定的参照系和支撑该答案的图像证据，任一改变都可能导致答案失效。基准通过固定图像切换三种 grounded 参照系，以及把图像删除标注为不足、把答案保留型增加作为配对，迫使模型在成组条件下答对。输入控制用于定位图像真正支撑匹配成功的场景，重复执行则揭示相似分数下的答案不稳定。

对做多模态空间推理的团队，单纯刷单题准确率不够，需要按参照系和证据变体做分组回归测试，并关注同一输入重复调用时的答案稳定性。few-shot 与任务适配可提升单题分数，但未必提升成组正确率，因此评测与上线门槛应加入联合正确率和证据敏感性指标。

• 在空间推理产品的评测流水线中加入参照系切换与证据增删的配对测试集，按组统计正确率而非只报单题准确率。
• 为需要多图判断的场景（如家居、仓储、机器人）建立输入控制实验，标出哪些图像真正支撑答案，减少无效图片带来的成本。
• 对同一问题多次调用模型并比对答案一致性，把不稳定样本纳入人工复核或降级策略。

• 该基准的 320 组三元组和 960 道中文选择题是否公开、以何种许可发布？
• 三参照系组准确率 10.42% 的结果是否在其他模型家族或更大参数量模型上复现？
• 答案不稳定主要由提示格式、采样随机性还是模型空间表征不足导致，证据未做区分。
• 将联合指标纳入训练目标是否能提升成组正确率，论文未给出结论。