反事实实验评估野外 LLM 行为解释

arXiv 上发表了一篇论文，提出名为 CHIVE 的自动化流程，通过反事实输入编辑来评估 LLM 解释的质量。研究发现，现有可解释性技术并未提升模型行为预测能力，但用 CHIVE 生成的数据训练模型，可提升其在分布外场景的泛化能力。

此前对 LLM 解释的评估多依赖人工或静态指标，缺乏对解释实用性的严格检验。CHIVE 首次在自然发生的模型行为上，通过反事实模拟实验系统性评估解释质量，并发现主流可解释性技术无提升，挑战了现有方法的有效性。

CHIVE 利用智能体流程自动识别异常模型行为，并通过编辑输入生成反事实样本，测试解释能否预测这些样本上的行为。若解释有效，则基于它的预测应与实际行为一致。训练模型预测反事实实验的结果，使其学会更通用的行为规则，从而提升分布外泛化。

产品团队在依赖可解释性技术（如注意力、梯度）进行模型调试或用户解释时，需重新评估其实际效用。CHIVE 展示了一种更可靠的评估方法，可用于筛选解释方法，或将反事实训练融入模型开发，提升在边缘场景的鲁棒性，但成本较高。

• 构建基于 CHIVE 的模型行为审计工具，自动发现并解释生产环境中的异常输出，辅助人工审查。
• 在模型发布前，使用反事实训练（如 CHIVE 生成的样本）提升模型在分布外场景的鲁棒性，降低上线风险。
• 开发解释质量评估服务，提供给需要可解释 AI 的客户，用于对比不同解释方法的实用性。

• CHIVE 在不同模型架构上的表现差异如何？
• 反事实训练数据覆盖哪些具体场景，是否覆盖多语言或领域特定任务？
• 现有可解释性技术无提升的原因尚未明确，是否因方法失效或评估方式问题？