并非所有误差都能靠扩展解决：视觉语言推理中扩展的边界

一项 arXiv 论文提出 Separable Law，描述视觉语言模型性能如何随语言主干规模与视觉 token 数量变化。研究在 26 个 InternVL 和 QwenVL 模型上拟合该规律，主干规模覆盖 1B 至 72B，图像尺寸覆盖 224 像素至 8K，使用四个高分辨率基准。结果显示，需要不同技能的问题对扩展的响应可被预测，但相当一部分问题完全不会响应扩展。结合成本定律后，该规律给出在主干规模与视觉 token 间分配算力的闭式规则。

此前缺少在固定算力预算下判断主干规模和输入分辨率如何组合的依据，尤其在高分辨率部署中。该研究用 26 个模型和四个基准拟合出可预测的规律，并指出并非所有误差都随规模下降，把扩展决策从经验判断转向可计算规则。

VLM 面临固定预算下扩大视觉信息与扩大语言主干之间的权衡。Separable Law 将性能变化分解为主干规模和视觉 token 数量的函数，并用成本定律约束总算力。两个模型家族从更大主干获得的收益相似，但从更多视觉 token 获得的收益差异明显。部分问题依赖的技能本身不随规模改善，因此不会响应扩展。

对产品与研发而言，该规律可用于在高分辨率场景下选择模型规格和图像尺寸，避免把算力投入不会响应扩展的问题类别。闭式规则可在相同预算下逼近最优可行配置，直接关系到推理成本、延迟和细粒度视觉任务的用户体验。

• 在高分辨率视觉产品中，按问题所需的技能类型划分流量，把不响应扩展的请求路由到更小主干或更低分辨率，以节省推理成本。
• 基于 Separable Law 构建内部配置推荐工具，输入预算和任务类型后输出主干规模与图像尺寸的组合。
• 针对两个模型家族在视觉 token 收益上的差异，建立基准测试以决定具体业务采用 InternVL 还是 QwenVL 的视觉扩展策略。

• Separable Law 在 InternVL 和 QwenVL 之外的模型家族上是否同样适用，尚未被证据确认。
• 论文未说明所测试的四个高分辨率基准是否覆盖真实业务中的任务分布。
• 哪些具体技能类别完全不响应扩展，证据中未给出可操作的分类清单。
• 成本定律的具体形式和参数未在证据中展开，实际部署门槛仍不明确。