视觉语言模型看似能力上限，实为读出格式限制

一篇 arXiv 论文发现，视觉语言模型的基准分数会受答案呈现形式影响。在 200 张 COCO 照片上，Qwen3-VL-4B 从九个位置中选出被指物体正确位置的比例，以英文给出时为 68.5%，以像素坐标给出时仅 20.0%，随机猜测为 11.1%。该差距在 4x4 网格、8-bit 量化及按物体大小、边界距离、类别切分后仍然存在，并会改变模型排名：两个在英文名称下打平的模型，在两种坐标系下相差 39 分和 54 分且方向相反。颜色任务中四分之三的开源可用模型出现该惩罚，照片任务中三个开源模型有两个出现，Gemini 在可解析答案上为 11.1 分（p=1e-4），GPT-4o 未出现。

过去基准分数被当作模型能力的直接读数，答案选项的呈现约定被视为中性。该结果显示，同一模型在不同读出格式下可相差数十个百分点，甚至改变模型之间的胜负排序，因此现有以单一约定测试得到的排名与能力结论可能并不可靠。

作者将问题定位在读出而非感知或推理：答案选项是坐标时模型表现骤降，但把坐标放在问题里只损失 3.5 分且不显著。通过给每个选项附上错误名称并观察模型跟随哪个，可区分模型能使用与不能使用的约定，例如色相角低于随机，归一化像素约定达随机四倍。

对评测与选型团队而言，同一模型的能力判断会随答案格式而变，仅凭公开榜单一约定得分做采购或上线决策存在风险。研发侧需要在自身业务的实际输出格式（坐标、颜色、类别名）下重测模型，并考虑在提示或后处理中把坐标类输出转换为模型更易读出的形式。

• 在自建评测中加入多读出格式对照，对同一模型分别用英文名称、像素坐标、归一化坐标测试，输出格式敏感度报告。
• 为坐标类下游任务设计提示模板，将坐标以文本或归一化方式给出，并在上线前做 A/B 验证准确率提升。
• 提供评测审计服务或工具，检测基准排名是否因答案约定差异而被误读，并标注模型在哪些约定下不可靠。

• 该读出限制是否同样出现在更大参数模型或闭源模型上，GPT-4o 不受影响的原因是什么？
• 在真实产品任务中，将坐标转换为文本或归一化形式后，准确率提升能否稳定复现？
• 论文未尝试的两种约定是否也存在类似惩罚，如何提前判断某约定是否可用？
• 该结论是否经过独立复现，样本规模是否足以支撑跨模型排名结论？