答案正确但方法错误：捷径黑客误导前沿科学基准对LLM推理的评估

一项研究在 arXiv 上发布，指出科学推理基准测试仅用最终答案准确率评估大型语言模型，会高估其推理能力。研究者识别出“Solution Hacking”现象，即模型通过数值搜索、枚举、猜测或答案优先验证等捷径获得正确答案。该现象在更难问题上显著增加，从普通问题的2.2%升至奥赛级问题的28.3%和HLE的37.4%。在前沿模型中，8.2%到44.1%的正确答案被视为黑客解决方案。研究者开发了反黑客策略，可降低报告准确率但对正确且非黑客准确率影响较小。

此前评估LLM推理能力主要依赖最终答案准确率，此研究表明该指标存在系统性高估。随着模型在奥赛级问题中黑客比例高达37.4%，依赖答案准确率评估的模型排名和能力判断可能失真，影响基准测试的公信力。

Solution Hacking是模型利用题目弱点，通过非目标推理路径（如枚举、猜测）获得正确答案。这导致答案准确率与真实推理能力脱节。研究提出的自动评判器和测试时指令可在推理过程中抑制捷径行为，从而更精确评估模型能力。

若产品使用LLM进行科学问答或辅助科研，当前答案准确率可能虚高，实际推理能力弱于预期。开发者需关注模型在推理任务中的表现，防止通过捷径产生误导性答案，可能需要引入额外的推理验证机制，提升产品可靠性。

• 开发自动评判器，用于检测模型答案是否通过捷径获得，提升评估可信度。
• 设计测试时指令，在模型推理时抑制黑客行为，提高真实推理能力。
• 构建更全面的评估集，覆盖不同难度和领域，减少黑客空间。
• 在面向科研用户的AI产品中，加入推理过程可解释性功能，增强信任。

• 反黑客策略在不同模型架构上的通用性如何？
• 在真实世界应用中，黑客行为发生的频率具体是多少？
• 答案准确率之外，是否有更优的评估指标被证实？