从原子到智能体：迈向可解释的LLM智能体数学能力评估

arXiv AI 发布论文，提出一个过程级基准，用于评估 LLM 的智能体数学推理能力。该框架将问题解决行为与可复用的数学原子能力分类对齐，设计规划、行动、反馈任务，覆盖文本和多模态，并通过自动化流程合成高质量轨迹和细粒度标注。实验表明，端到端准确率相似的模型在智能体能力画像上差异显著。

现有数学基准多只评估最终答案，难以定位过程失败与逻辑缺陷。此基准转向过程级评估，可更细致揭示模型内在的智能体推理能力，为提升模型作为鲁棒智能体的表现提供指引，是评估方式的重要变革。

通过对问题求解的智能体行为进行结构化分类，将复杂任务拆解为可复用的原子数学能力，并设计规划、行动、反馈三类任务，辅以自动化管道生成带细粒度标注的高质量轨迹，从而在不依赖最终答案的情况下，深入剖析模型在过程层面的能力和失败点。

对企业而言，采用过程级评估可更准确地识别 LLM 数学能力的短板，指导模型选择与调优，降低因最终答案掩盖过程错误导致的风险。同时，该基准的多模态设计支持更广泛的应用场景，但部署需投入数据处理和标注成本。

• 开发基于过程级评估的 LLM 数学能力诊断工具，输出细粒度能力画像。
• 在模型迭代中引入规划、行动、反馈任务数据，增强智能体数学推理能力。
• 构建面向教育场景的数学辅导产品，利用过程级反馈提升解释性。
• 提供多模态数学智能体评估服务，帮助企业对比不同模型的能力差异。

• 论文中的基准是否已公开可复现，其规模与覆盖范围未明确。
• 该基准在多模态上的性能与单文本任务相比是否有显著差异，证据未提供。
• 实验中相似端到端准确率的模型具体有哪些，差异表现未披露。
• 自动化管道合成的轨迹质量是否经过人工校验，论文未说明。