模态成熟度指数：评估全模态模型多模态能力的基准

arXiv 发布论文，提出模态成熟度指数（MMI），用于评估全模态大模型在文本、图像、音频、视频和文档五种模态及多模态组合上的能力。MMI 包含 893 道人工设计题目，并引入模态存在分数（MPS）。测试五个前沿模型，MPS 最高仅 34.9（GPT-5.4），最低 15.6（Claude Opus 4.6）。

现有评估框架主要聚焦双模态理解（如文本+图像），而 MMI 首次系统覆盖五种模态及三模态组合的输入输出，为衡量全模态模型的多模态能力提供了新基准，揭示了当前模型在多模态输出生成方面的严重不足。

MMI 通过人类撰写的评分标准，对每个提示的期望输出模态逐一评分，并计算平均分得到 MMI 值。MPS 则衡量模型返回的模态是否覆盖预期模态集合，采用 F1 分数。低 MPS 表明模型常未生成所有要求的模态，或生成内容不正确。

对依赖多模态输出的产品（如多模态助手、内容生成工具）有直接影响：当前前沿模型的模态完整性低，产品需权衡是否等待模型改进或通过后处理补偿缺失模态。研发团队可用 MMI 作为选型和验收基准。

• 使用 MMI 基准对市面全模态模型进行评测，选择模态覆盖最全的模型作为产品底座。
• 开发基于 MMI 的自动化测试工具，持续监控模型升级对多模态输出的影响。
• 针对 MMI 中低分项，为产品增加模态缺失时的降级或补救功能。
• 将 MMI 作为采购或自研模型的验收标准，推动供应商改进模态完整性。

• MMI 的评分标准是否已公开，以及是否会被社区广泛采用？
• 除 GPT-5.4 和 Claude Opus 4.6 外，其他三个测试模型具体是哪些？
• MPS 低是否因模型未返回所有模态，还是因内容错误导致无法评分？
• MMI 基准是否已被其他研究团队独立复现或验证？