多模态大语言模型引导的文本生成视频语义纠正

arXiv 发布论文提出一种训练免、可解释的生成中纠错框架，将多模态大语言模型反馈直接整合进扩散采样循环，用于文本生成视频时的语义纠正。框架包含语义评估监督器和语义修改助手两个模块，在不修改模型参数的情况下提升语义对齐、视觉保真度和时间一致性，并在多个基准上进行了验证。

此前文本生成视频的语义纠错多在采样前优化或采样后细化，生成过程中缺乏检测与纠正机制。此框架首次将 MLLM 反馈注入扩散采样循环，进行实时的轨迹纠正，解决了生成中语义偏差未被干预的问题，提高了生成质量。

该框架利用 MLLM 对中间预览帧进行语义评估和偏差诊断，并将评估信号注入扩散采样循环，通过可控的潜在轨迹干预来修正语义漂移。这种生成中自反思机制使模型能在生成过程中不断调整，从而减少语义错误，且无需训练或修改参数。

对文本生成视频产品，该技术可降低生成结果中物体缺失、属性错误或动作不匹配等问题，提升内容质量与用户满意度。因无需训练，可直接集成到现有推理流程，研发成本较低，但可能增加推理时的计算开销。

• 将该框架集成到现成的文本生成视频API中，作为可选增强功能，提升生成质量。
• 基于该框架开发针对特定场景（如教育、广告）的视频生成优化工具，提高语义一致性。
• 将此框架与现有视频编辑软件结合，提供生成过程中的实时预览与修正功能。

• 该框架对视频生成速度的影响程度尚未在证据中量化。
• MLLM 评估的准确性及其对输出多样性的影响未明确。
• 框架在长视频或复杂场景下的表现尚未有证据说明。
• 该方法与其他基于训练的纠错方法的效果对比未提供数据。