RA$^2$：以保留为锚的吸引在 LLM 遗忘中保住遗忘邻近效用

该论文指出，LLM 遗忘评估常只看目标抑制与常规保留效用，会漏掉一种局部失败：模型在标准 retain 提示上表现正常，但遇到接近被遗忘领域的良性推理提示时性能下降，作者称之为 forget-adjacent utility loss。论文提出潜空间遗忘方法 RA$^2$，把 forget-token 状态重定向到邻近的 retain 支持表示，同时在 retain 数据上保持高层行为。在 WMDP 与 MUSE 上，RA$^2$ 在相近总体效用水平下取得更高 forget-adjacent utility。

以往评估把遗忘效果与常规保留能力当作主要指标，可能掩盖遗忘边界附近的良性能力退化。该工作把“遗忘表示离开原行为后往哪里去”设为独立变量，并给出可对比的基准结果，意味着遗忘质量评估需要增加邻近域测试。

方法不只看遗忘条件表示是否脱离有害计算，还控制其后续迁移方向：将 forget-token 状态拉向附近由 retain 数据支持的表示，并在更高层维持 retain 数据上的行为。这样可减少遗忘操作对邻近良性推理路径的连带破坏，从而在总体效用相近时提升边界区域表现。

对做模型合规、内容安全或行业定制微调的产品团队，这意味着上线前的遗忘评测不能只跑标准 retain 集，还应加入接近被遗忘领域的良性提示回归测试，否则可能漏掉用户可感知的能力下降。

• 在模型安全上线流程中加入 forget-adjacent 提示集回归测试，作为遗忘版本发布的必过项。
• 将 RA$^2$ 作为候选遗忘方案，在 WMDP、MUSE 之外用自有业务数据对比总体效用与邻近域效用。
• 围绕“保留锚定”思路开发遗忘后能力回归诊断工具，定位边界提示的性能损失。
• 在微调平台提供遗忘表示迁移方向的配置项，并输出邻近域效用报告。

• RA$^2$ 在 WMDP 与 MUSE 之外的其他模型和业务领域是否同样有效？
• forget-adjacent utility 与常规 retain utility 的权衡边界是否可量化预测？
• 该方法对推理成本、训练时间和显存占用的实际影响是多少？
• 重定向方向的选择是否需要人工设定锚点，能否自动化？