MUSE：面向情境教育的多模态理解视觉语言模型基准

arXiv 收录论文 MUSE，指出现有视觉语言模型评测多覆盖真实图像或特定教育推理，缺少艺术类教育内容。MUSE 将图像标注与问题生成解耦，构建十二项任务，涵盖视觉感知、语义与情感解读、文化理解及组合推理，并选用以新加坡和东南亚多元文化为重心、兼含西方艺术传统的图像，评测开源与闭源模型。

此前教育场景的视觉语言模型评测多依赖真实图像或单一学科推理，艺术教育内容覆盖有限。MUSE 把艺术图像理解拆成可控制难度的多类任务，并明确纳入东南亚多元文化语境，使情感解读与组合推理等能力差异可被量化比较。

把图像标注与问题生成分离，可复用同一批标注生成不同难度和类型的题目，降低逐题人工标注成本；任务按感知、语义、情感、文化、推理分层，便于定位模型在具体能力维度上的短板，而非只给出单一总分。

若团队开发教育类多模态产品，可用该基准评估模型在艺术与文化内容上的表现，据此决定是否加入人工审核或补充训练数据；情感解读与组合推理的差距提示，面向学生互动的功能不宜直接依赖模型原始输出。

• 将 MUSE 的十二项任务映射到语言学习或艺术教育产品的模型选型测试清单，优先验证情感解读与组合推理两项。
• 围绕新加坡及东南亚文化内容建立本地化评测集，用于检验面向该地区的教育产品输出是否贴合语境。
• 在模型评估流程中引入可控制难度的题目生成方式，减少逐题人工标注的投入。

• MUSE 的具体任务定义、评分方式与样本规模尚未在证据中给出。
• 论文提到的常见失败模式具体有哪些，证据未展开。
• 该基准是否已公开、可复现，以及是否有第三方使用，证据未说明。
• 参与评测的开源与闭源模型清单及各自得分，证据未提供。