易补全难选择：ProverbIT 基准揭示大语言模型谚语理解局限

arXiv 论文提出意大利语谚语基准 ProverbIT，包含100道多选题，评估13个前沿模型在谚语补全、有正确答案和无正确答案多选题三种任务上的表现。结果发现：模型在补全任务中表现良好，但在无正确答案的多选题中成绩大幅下降，推理模型也显著退化。思维链分析显示模型偏向选择字面同义词，并在推理中提及正确结尾却未识别其不在选项中。

此前 LLM 在多语言和文化表达任务上的评估多集中于翻译或情感分析，且常以补全或生成形式衡量。ProverbIT 首次以意大利谚语为对象，对比补全与多选题难度，暴露模型在无正确答案场景下的推理短板，提示现有模型对谚语等文化表达的“记忆式”理解，而非深层语义把握。

模型在补全任务中依赖记忆模式，容易输出谚语后半句；但在多选题中，若所有选项都不含正确结尾，模型无法利用低频模式，转而偏好字面同义词。思维链分析表明，模型推理过程中能提及正确结尾，却未能将之与选项比对，反映其在“否定性推理”和选项排除上的能力不足。

对依赖 LLM 进行文化内容生成、问答或多选题设计的应用，需警惕模型在选项不包含标准答案时的错误输出，可能影响用户信任。研发过程中，应引入更多无正确答案和干扰项测试，以优化训练数据或推理策略，降低错误率。

• 开发针对谚语或文化表达的校验机制，在生成或选择时结合外部知识库，避免单一记忆依赖。
• 在评估管线中加入无正确答案的多选题测试，提升对模型推理鲁棒性的监控。
• 利用思维链分析结果，训练模型在推理中显式比对选项与已知答案，增强否定性推理能力。

• 模型在无正确答案任务中的退化是否仅限于谚语领域，还是更普遍存在于文化特定表达中？
• LRM 的大幅退化是否通过修改推理提示或采用更优的解码策略而改善？
• ProverbIT 基准的100题规模是否足以稳定衡量模型差异，扩展测试集是否改变结论？