评估大语言模型在概率算子逻辑推断上的能力基准

arXiv 上发布了一项新基准，用于评估大语言模型在概率算子（如 probably、might、must）上的逻辑推理能力。该基准包含 14320 个程序化生成的英文提示，涵盖十五种推理模板，并系统变化问题形式、否定策略和表面内容。评估了 29 个模型，发现多数模型表现出与逻辑形式无关的答案偏向（偏好回答 Yes 或 No），仅 9 个模型超过随机水平。还发现问题形式、动词短语、名字性别和来源等均存在偏差。

该基准首次系统性地分离逻辑推理与表面模式匹配，揭示了多数模型在概率推理上的严重不足，仅有少数模型优于随机。这提示当前 LLM 在高风险领域（如医疗、法律）中处理不确定性表述时可能不可靠。

基准通过程序化生成 15 种推理模板，控制表面变量（问题形式、否定、名字等），以识别模型的答案偏向。多数模型偏好 Yes 或 No，表明其依赖表面启发式而非逻辑形式。

若产品依赖 LLM 进行概率或不确定性推理（如风险评估、决策支持），当前模型可能产生系统性错误。需在相关场景引入专项校验或人工审核，或选择通过基准测试的少数模型，以降低误判风险。

• 开发专用微调数据集，针对概率算子推理提升模型逻辑能力。
• 构建基于该基准的评估流水线，在模型选型时优先测试。
• 为高不确定性场景（如医疗诊断）设计降级机制，避免盲目依赖 LLM 输出。
• 推动模型供应商改进推理框架，或集成外部逻辑引擎辅助判断。

• 基准是否覆盖多语言场景？
• 表现优异的 9 个模型是哪些？
• 偏差是否可通过提示工程缓解？
• 该基准对实际业务场景的预测效度如何？