多模态代理搜索中的静默失败：一个诊断分类法与交叉判断评估

该论文研究了多模态代理搜索系统中隐藏的可靠性问题，即“静默失败”——表面正确但实际有缺陷的搜索轨迹。作者提出了六类分类法（模态捷径、幻影接地、错误证据正确答案、过度检索洗钱、跨模态矛盾、出处幻觉），并构建了轨迹级诊断管道。在四个前沿多模态模型的MMSearch-Plus轨迹上实验表明，表面准确性持续高估真实轨迹级正确性，且静默失败与模型能力相关，常转移而非消失。

此前评估多模态搜索系统只关注最终答案准确性，忽略了中间搜索过程的质量。该研究系统性地揭示了六种隐蔽故障模式，证明常规指标存在盲区，这意味着依赖此类系统的产品可能隐藏不可靠性，影响用户信任和业务决策。

多模态代理系统通过ReAct风格框架调用外部工具回答视觉问题，但可能产生以下隐蔽缺陷：使用与问题无关的模态信息（模态捷径）、将证据错误指向不存在的对象（幻影接地）、基于错误证据给出正确答案、过度检索掩盖失败（过度检索洗钱）、跨模态信息矛盾、编造来源（出处幻觉）。这些失败模式在最终答案上不显著，但通过轨迹级诊断才能暴露。

开发或使用多模态搜索产品的团队需警惕表面高准确率下的潜在失败。产品测试应引入轨迹级评估和压力测试（如空白图像），否则可能部署有可靠隐患的系统，增加用户投诉和错误决策风险，同时提升研发调试成本。

• 开发检测静默失败的自动化诊断工具，集成到CI/CD流程中。
• 在多模态搜索产品中增加用户可见的证据溯源与完整性提示，减少信任风险。
• 设计更具鲁棒性的评估指标，结合轨迹级正确性和证据质量，替代纯准确率。

• 不同模型之间静默失败模式的差异如何影响实际部署选择？
• 是否可能通过训练数据或架构改进从根本上减少静默失败？
• 非视觉模态（如音频、视频）的多模态搜索是否存在类似失败？