校准改变未来的决策：面向多模态大模型的在线策略训练后量化

arXiv 上一篇论文提出 OnPTQ，一种面向多模态大模型的训练后量化（PTQ）校准框架。作者指出传统 PTQ 用固定序列和局部目标做校准，忽略了自回归反馈：量化导致的 token 变化会改写前缀并影响后续状态，而单靠 on-policy 覆盖也不够，因为许多决策偏差对后续生成影响很小。OnPTQ 在当前量化策略访问的轨迹上校准，用短反事实 rollout 评估竞争 token，结合当前偏差与分支后果形成 Decision–Consequence 风险，并配合上下文锚定与轨迹刷新。

以往 PTQ 校准多关注局部重构误差，与模型实际自回归生成路径脱节；本文把校准目标从固定序列转向量化策略真实访问的轨迹，并用反事实 rollout 区分影响大小的决策偏差，为低比特部署下保持多模态生成质量提供了新思路。

机制上有三点：一是 on-policy 校准，使校准数据分布随量化后的当前策略更新，而非停留在原始模型或固定样本；二是对共享前缀上的竞争 token 做短反事实 rollout，把“当前偏差”与“分支后果”合成 Decision–Consequence 风险，优先校准关键状态；三是上下文锚定与轨迹刷新，避免校准偏移并保持多模态行为。作者还给出连接行为偏差、当前策略偏差与动作条件未来价值跨度的理论界。

若该方法在更多模型与硬件上可复现，低比特量化在同等精度下可减少正确性翻转，意味着部署多模态大模型的显存与推理成本可下降，同时降低量化带来的回答质量回退风险。由于不改变部署推理图，理论上可直接替换现有 PTQ 校准流程，对端侧或高并发推理场景有直接工程价值。

• 在自有视觉语言模型上复现 OnPTQ，与现有 PTQ 基线对比低比特下的正确率翻转率，评估是否替换现有校准流水线。
• 将 Decision–Consequence 风险作为内部量化质量指标，纳入模型发布前的低比特回归测试。
• 针对端侧多模态推理产品，试点 on-policy 校准以在不改推理图的前提下降低量化损失。

• 论文在 Qwen 视觉语言与全模态模型上验证，是否适用于其他架构与更大规模模型尚不明确。
• OnPTQ 的额外校准成本（反事实 rollout 与轨迹刷新）在工程上是否可接受，证据未给出具体开销。
• Decision–Consequence 理论界与实际下游指标的关联强度，摘要未提供量化验证细节。
• 该方法与现有量化工具链、推理框架的兼容性及开源情况尚未确认。