对齐惯性：通过策略覆盖抵抗审计训练数据影响的持久性

一篇 arXiv 论文提出 Override Success Rate（OSR）和对齐惯性两个指标，用于衡量平台运营者的 system prompt 与微调能否覆盖模型从先前训练中获得的行为。研究在 Llama 和 Mistral 上测试医疗错误信息与仇恨言论场景，发现对齐惯性普遍存在，且随模型、领域和策略方向变化。在 Mistral 的受限仇恨言论条件下，LoRA 微调使惯性上升 46.5 个百分点。

此前行业普遍假设 system prompt 和微调可有效约束模型行为，该研究把“覆盖是否成功”变成可量化审计对象，并指出微调有时会强化而非改写原有行为，这改变了人们对模型治理可靠性的默认预期。

论文用 OSR 衡量干预后行为改变的成功比例，用对齐惯性描述旧行为抵抗覆盖的程度。作者用 TRAK 检验惯性是否与较弱的适配信号相关；TRAK 在 8 个条件中的 7 个 AUC 不低于 0.85，且优于模型置信度、TF-IDF 相似度和嵌入相似度。

产品和研发团队在部署 system prompt 或 LoRA 微调前，需要把覆盖成功率纳入评测，而不只看目标指标。对医疗、仇恨言论等高风险场景，微调可能带来反向效果，增加上线前审计与回归测试成本。

• 在模型上线流程中加入 OSR 与对齐惯性指标，作为 prompt 和微调发布前的准入门槛。
• 为医疗、内容安全等高风险场景开发覆盖失败检测工具，提示运营者哪些旧行为未被改写。
• 用 TRAK 等影响函数方法构建微调数据审计服务，定位强化旧行为而非覆盖它的训练样本。

• OSR 与对齐惯性在更多模型、语言和任务上是否稳定复现？
• TRAK 的预测能力能否转化为可操作的训练数据筛选或重加权方案？
• LoRA 使惯性上升 46.5 个百分点的机制是否与秩、学习率或数据分布有关？
• 该审计方法在真实生产环境的成本与延迟是否可接受？