MAPLE：面向 LLM 评估的多轴参数化知识提取透镜

论文提出 MAPLE 框架，用于刻画知识提取增强（KEE）技术对 LLM 参数化知识提取的影响。它将聚合准确率拆解为表层、概率和超出采样三个层面，测量答案恢复与干扰、未恢复失败样本的 gold-token 排名变化，以及固定预算采样漏掉答案的恢复情况。作者在 OLMo2、Qwen2.5 和 Llama3 三个模型家族上评估了六种解码、激活引导和提示类 KEE 技术，发现各技术效果与取舍各不相同。

此前 KEE 评估多以聚合准确率为主，会把“恢复失败”和“干扰成功”两类相反效果压成一个分数，难以判断技术究竟带来了什么。MAPLE 提供了区分恢复与干扰的多层诊断指标，使不同 KEE 技术之间可以做更细的比较。

LLM 的知识以概率形式存在，训练时吸收的知识不保证在输出中显现。激活引导、解码调整和提示等 KEE 会改变推理过程，既可能强化已有预测，也可能让原本可访问的答案被破坏。MAPLE 通过答案恢复与干扰、gold-token 排名变化、以及超出固定采样预算的答案恢复，把这些效应从单一准确率中分离出来。

对从事 LLM 评测、推理优化或提示工程的团队来说，若继续只用准确率判断 KEE 效果，可能忽略某技术对已答对问题的破坏。MAPLE 这类诊断维度可以用于上线前的技术选型与回归测试，帮助区分“真正补回知识”和“只是扰动输出”。

• 将答案恢复率与干扰率成对纳入 LLM 评测报告，替代单一准确率指标
• 在提示、解码或激活引导方案的 A/B 选型中，增加 gold-token 排名变化作为辅助诊断指标
• 针对固定采样预算下漏答的知识点，建立超采样恢复测试集以评估模型真实知识边界

• MAPLE 的具体指标计算方式和开源实现是否可用
• 六种 KEE 技术在三个模型家族上的具体表现差异未在摘要中给出
• MAPLE 对下游产品或实际业务任务的预测效度尚未验证
• 该方法是否能扩展到多模态或工具调用场景尚不明确