JigShape：通过拼图评估视觉语言模型的视觉-几何推理能力

新基准JigShape用互锁拼图评估视觉语言模型的视觉-几何推理能力，含95K实例。测试显示零样本模型基本缺乏几何推理，仅GPT-5.5在4x4上超过随机水平，微调模型在更大网格上性能骤降，表明可扩展几何推理仍是开放挑战。

现有基准使用矩形切割，在纹理重复区域产生模糊的真实标签，JigShape通过互锁拼图提供明确的几何约束，更准确地衡量模型能力。结果显示前沿模型在几何推理上存在明显短板，且随规模增大性能崩塌，这挑战了当前模型的能力边界。

拼图解决要求联合推理视觉内容与几何约束。互锁设计使几何兼容性成为强约束，结合视觉内容可消除歧义。模型在4x4上通过微调能达到高准确率，但更大网格导致组合复杂度上升，模型无法持续满足约束，出现“缩放悬崖”，暗示架构缺乏可扩展的约束满足机制。

对于依赖视觉语言模型进行图像理解或空间推理的产品（如自动驾驶、机器人、设计工具），该研究提示需关注模型在复杂几何任务上的可靠性，可能影响模型选型或需要额外后处理。基准可用来评估模型上限，指导研发投入。

• 开发针对视觉-几何推理的专门微调数据集，提升模型在中等复杂度拼图上的表现。
• 在现有视觉语言模型产品中增加几何推理自检模块，降低错误输出风险。
• 将JigShape基准纳入模型评测体系，作为选型参考指标。

• GPT-5.5在4x4上的优势是否源于训练数据或架构差异？
• 更大网格上的性能崩塌是否可通过数据增强或注意力机制改进缓解？
• JigShape基准的难度是否受视觉纹理干扰影响，而与纯几何推理无关？
• 实际产品中是否需要处理类似拼图的复杂几何场景？