解释何时有助于上下文学习？自然语言解释类型与忠实度的比较研究

一项研究对比了六项基准和四个指令微调模型，考察自然语言解释在上下文学习中的来源与选择策略。结果显示，在分类任务中，添加解释常能提升少样本提示的准确率，外部大模型生成的解释往往表现良好，而与人工解释相当；自生成解释则对选择策略敏感。基于忠实度的选择总体上带来小幅平均增益，但效果因指标、任务和模型而异，且不同忠实度指标可能产生明显分歧。

此研究首次系统比较不同来源与选择策略的自然语言解释对上下文学习的影响，并揭示忠实度指标间的分歧，为提示工程与解释增强提示的设计提供了实证依据，改变了以往对解释效果缺乏统一认识的状况。

上下文学习中，解释增强提示通过少样本示例携带额外语义信息，影响模型行为。外部大模型生成的解释在分布上更接近模型期望，因此稳健；自生成解释依赖选择，忠实度过滤可筛出高质量示例。随机或分布外解释的鲁棒性测试表明语义对齐在增益中起作用。

提示工程工具可增加解释来源与选择策略选项，根据任务类型推荐外部模型生成解释或用忠实度过滤自生成解释。需注意忠实度指标选择影响效果，产品需提供可配置的过滤机制。对数学推理类任务，效应依赖模型，需谨慎应用。

• 在提示构建工具中集成多种解释来源（如外部 LLM、自生成）与忠实度过滤选项，供用户按任务选择。
• 基于任务类型（分类 vs 数学推理）提供解释增强与否的默认推荐，减少试错成本。
• 提供可选的多个忠实度指标，并展示其选择差异，帮助高级用户精细调优。
• 开发自动评估模块，对比不同解释配置在用户数据集上的效果，指导配置选择。

• 该研究结果在非分类、非数学推理任务（如生成式）上是否同样适用？
• 人工解释在哪些具体条件下优于外部 LLM 生成的解释？
• 不同忠实度指标之间的分歧，其影响因素和最优选择标准是什么？