评估大语言模型在入门物理问题求解中的表现

arXiv 论文评估 OpenAI o4-mini 模型解决大学物理入门问题的能力。模型整体正确率约90%，文本问题达96%，但图文结合的问题降至79%，且高难度问题表现显著下降。

此前LLM在复杂推理任务上能力有限，而o4-mini展现出解决标准物理问题的较高准确率，但图文协同和难度梯度仍是明显短板，表明多模态推理与知识深度仍是关键瓶颈。

推理缩放模型通过更长的推理链和内部验证提升了复杂问题的求解能力，但图文联合理解需要视觉与符号推理的整合，难度增加则对逻辑链条的完整性和深度提出更高要求。

教育类产品若依赖LLM自动辅导或批改，需优先支持纯文本题型，对图文混合题需额外设计多模态处理模块，且高难度题目须引入人工审核或分步引导机制。

• 开发物理学习助手时，先支持纯文本习题自动解答与讲解，再逐步扩展图文混合题。
• 基于难度分级，为低中高问题配置不同的推理策略（如低难度直接回答，高难度分步骤提示）。
• 针对图文结合场景，研发图像OCR+结构化提取组件，提升模型对图表和公式的理解。
• 将模型解答与标准答案对比，自动标注易错知识点，用于生成个性化练习推荐。

• o4-mini在真实课堂环境中的适应性如何，能否处理学生非标准表述？
• 其他推理模型（如DeepSeek-R1、Claude 3.5）在相同测试集上的表现是否类似？
• 模型对物理图像中单位、向量等符号的解析准确率具体是多少？
• 高难度问题表现下降是否源于训练数据覆盖不足，还是推理长度限制？