VISA：面向多模态指令跟随的智能体自我进化数据合成

VISA是一个智能体框架，将多模态指令合成重构为自我进化循环。每轮分析图像、过滤不兼容约束、发现新可验证约束，从持久记忆采样约束集，生成候选指令，并用工具和结构化大模型裁判验证。失败样本触发诊断恢复，接受样本测试目标模型难度，反馈写回记忆。在MM-IFEval上提升指令跟随能力，并保持七个公共基准的通用能力。

此前合成流程为一次性生成与过滤，丢弃失败样本等信息。VISA将合成变为循环，利用反馈改进数据质量，无需单独奖励模型即可提供强化学习信号，提升模型指令跟随能力，同时保持通用性能，改变数据合成范式。

VISA通过智能体循环，利用持久记忆存储约束和模型错误档案，动态扩展约束空间，减少模板重复。验证器信号和目标模型失败档案反馈回记忆，指导后续合成聚焦薄弱环节。相同验证合约提供强化学习奖励，无需训练奖励模型，提升数据准确性、多样性、可验证性和难度。

对依赖多模态指令数据的模型研发有直接影响：可降低数据标注成本，通过智能体自动合成高质量训练数据；增强模型指令跟随能力，减少人工清洗迭代；验证合约可复用于强化学习训练，简化训练流程。

• 将VISA整合进多模态数据生产管线，自动化合成训练数据，减少人工标注。
• 利用VISA的验证合约作为奖励信号，部署强化学习微调，提升模型对齐。
• 为垂直领域（如视觉问答）定制VISA，生成领域特定指令集。

• VISA在不同规模模型上的稳定性未知。
• 合成数据质量是否超越人工标注未见明确比较。
• 真实产品环境中运行VISA的成本未披露。
• VISA是否支持实时流式合成未说明。