基于AI的音效生成：跨输入模态生成模型综述

该论文回顾了2021至2026年间基于文本、视觉、音频和多模态输入的AI音效生成模型，分析了30篇同行评审文章。结果显示多个模型在保真度、语义一致性和时间连贯性上达到领先水平，但仍存在多事件场景时间同步不足、客观指标与人类感知不一致、可控性与多样性难以兼顾等问题。

该综述系统梳理了AI音效生成领域近五年的进展，指出技术正走向自适应、可扩展和上下文感知。相较早期生成模型，当前模型在质量和语义对齐上取得显著进步，但时间同步等挑战仍待解决，为音效设计工具和交互媒体应用指出了明确的技术演进方向。

生成模型依赖不同输入模态（文本、图像、音频）作为条件，通过调节生成过程实现语义对齐和时间连贯。多模态输入可提供更丰富的上下文，提升可控性，但也会增加训练复杂度和推理开销。客观评估指标（如距离度量）与主观听感存在差距，模型在追求多样性与精确控制之间需寻求平衡。

对音效设计工具而言，AI生成技术可降低手动制作成本，加速原型迭代，但时间同步限制可能影响复杂场景（如游戏多事件音效）的可用性。产品开发者需关注生成模型的可控性，并在评估时结合人工听测，避免过度依赖自动化指标。

• 开发针对多事件场景的音效同步优化功能，降低时间错位风险，提升游戏和影视产品体验。
• 建立以人耳听感为核心的评估体系，作为产品内部测试标准，弥补客观指标不足。
• 提供可调节可控性与多样性的参数接口，满足不同场景对一致性和创意的需求。
• 集成多模态输入（如文本+图像）生成音效，增强工具对复杂需求的适配能力。

• 该综述未提及当前模型在不同语言或文化背景下的音效生成效果是否存在差异。
• 综述未详细比较不同输入模态在计算成本上的具体差异。
• 现有时间同步问题是否已有商业上可行的解决方案，证据未明确。
• 生成模型在移动端或低延迟交互场景中的实时性能尚未被证据确认。