面向物理视觉语言推理的答案级信任选择

该论文提出了一种名为 Answer-Level Trust Selection (ATS) 的后处理方法，用于评估视觉语言模型（VLM）在定量物理推理中单次预测的可信度。ATS 无需微调或内部 logits，通过聚合八个可解释的行为诊断分数来决定接受或拒绝预测。在 Qwen2.5-VL-7B 及 20 个 VLM 骨干上评估，发现干预式诊断能识别稳定但错误的预测，但提高拒绝率会降低正确预测的保留率。

此前基准测试主要评估模型整体性能，忽略个体预测可信度问题。ATS 提供了一种无需真值即可评估单次预测可靠性的方法，弥补了自一致性检测的不足，为 VLM 在物理量估计等高风险场景中的实际部署提供了信任判断依据。

ATS 通过重复查询和受控干预生成多个行为诊断分数，如稳定性、对视觉证据的依赖程度等，再聚合成统一信任分。这种方法能捕捉稳定但错误和依赖文本先验的预测，因为干预可以揭示模型是否真正利用视觉信息。

此方法可应用于需要 VLM 进行物理量估计的产品（如自动驾驶辅助、机器人视觉），通过筛选不可靠预测来提高系统可靠性，而不增加推理成本。但可能会降低有效预测的利用率，需在产品中权衡接受与拒绝的阈值。

• 在视觉问答或物理推理产品中集成 ATS 后处理模块，自动拒绝低置信预测并提示人工复核。
• 开发基于 ATS 的置信度展示功能，向用户显示每个预测的可信度，增强产品透明度。
• 利用 ATS 诊断分数改进模型训练数据，针对稳定但错误的案例进行针对性优化。
• 将 ATS 作为评测工具，用于对比不同 VLM 在物理推理中的可靠性，辅助模型选型。

• ATS 在真实世界多样化场景中的泛化能力未经测试，其性能是否依赖于特定任务类型？
• 论文提到的干预策略具体如何设计，以及它们在不同 VLM 上的稳定性如何？
• ATS 的计算开销在实时应用中是否可接受，是否适合大规模部署？
• 如何平衡拒绝率与保留率，以适应不同业务场景的风险偏好？