V-Rubrics：基于规则的强化学习提升视觉忠实度

研究者提出V-Rubrics方法，通过基于规则的强化学习，将参考回复分解为原子命题，按视觉忠实度、推理一致性和指令遵循打分，提供结构化部分信用。基于Qwen3-VL-8B构建SFT检查点，并用50K示例训练，实验显示比基础模型和仅答案奖励的GRPO更优。

以往多模态后训练使用标量奖励，无法定位视觉事实或推理步骤的缺陷。V-Rubrics分解原子命题并提供局部信用，能更精准地改进模型，尤其在知识导向和视觉任务上，性能提升显著。

多模态模型答案不忠实源于后训练中的信用分配问题。标量奖励信息有限，而V-Rubrics通过分解参考回复为原子命题，按三个维度评分，提供细粒度监督信号，其组件式、前缀定位的信用计算方式使模型能针对性优化。

对视觉问答产品，V-Rubrics可提升回答与图像的匹配度，减少幻觉。训练方法对算力要求可能较高，但能降低人工标注成本，并可能应用于数据合成和模型微调流程。

• 开发面向视觉问答的微调服务，利用V-Rubrics生成更忠实的训练数据，帮助客户提升模型准确性。
• 构建自动评估工具，基于视觉忠实度、推理一致性等维度给视觉模型输出评分，用于质量控制。
• 将方法适配到工业质检或医学影像，用规则化奖励降低误判，提升可靠性。

• V-Rubrics在不同模型大小（如7B、70B）上的泛化能力如何？
• Gemini-3-Pro标注的原子命题是否引入偏差，影响训练质量？
• 方法在开放世界真实场景下的鲁棒性尚无证据，待验证。
• 与其他方法（如DPO）的对比结果未提供。