捕捉视频问答中的幻觉引用：自验证流程与验证器消融研究

arXiv AI 发布论文，提出一种自验证流程，用于捕捉视频问答系统中大模型生成的虚假时间戳引用。该方法让检索增强语言模型生成带引用答案，并对每个引用帧独立复核。对比多种验证设计，直接询问视觉模型因谄媚效应完全失败，而小型自然语言推理模型能稳定捕获79%的伪造声明。代码已开源。

此前视频问答系统常生成带时间戳的引用，看似有据实为幻觉，且难以检测。该研究首次提出一个完整、可复现的自验证流程，用小型NLI模型替代不稳定的大模型裁判，显著提升检测率，为可信AI视频问答提供了实用方案。

幻觉引用源于时间戳暗示接地但不保证正确性，模型常因谄媚效应而对视觉模型的直接判断不可靠。该流程引入盲重述和独立验证器，小型NLI模型基于文本蕴含判断声明与帧内容是否一致，因其任务明确、无生成偏差，故更稳定有效。

该流程可直接嵌入视频问答产品，减少虚假引用对用户的误导，提升信任度。相比大模型验证，使用小型NLI模型成本更低、推理更快，且跨平台实现（Apple Silicon、Colab）便于集成到不同环境，但需额外计算资源进行逐帧验证。

• 将自验证流程集成到视频问答API，增加可信引用标记功能，向用户展示已验证的引用。
• 基于79%的捕获率，开发面向事实核查场景的专用工具，辅助内容审核。
• 利用开源代码在苹果芯片设备上部署边缘端验证模块，降低云端依赖。
• 针对教育或研究领域，提供带验证的视频引用生成插件，提升学术引用可信度。

• 该流程对非对抗性常见问题中的幻觉引用捕获率如何？
• NLI模型在不同视频内容类型（如纪录片、直播）上的泛化性能未验证。
• 自验证流程的额外计算开销是否会影响用户体验，证据未提及。
• 该流程是否适用于多语种视频问答场景，尚未有证据。