基于策略蒸馏的LLM安全重对齐：一种模板鲁棒的路由方法

ROPD是一种新的LLM安全重对齐框架，通过建模对齐与受损输出的概率分布差异而非拟合具体提示模板，解决了现有防御在模板不匹配时失效、灾难性遗忘以及易被重新越狱的问题。实验表明ROPD在多种基线和数据集上显著提升鲁棒性，能力保留几乎无损。

此前安全对齐方法在攻击者使用未知提示模板时效果大幅下降，且常导致模型技能遗忘。ROPD通过分布级蒸馏避免了模板依赖，首次在不牺牲专业能力的前提下实现了对模板变化的强鲁棒性。

ROPD将安全对齐视为一个蒸馏任务，目标是使受害模型的对齐概率分布尽可能接近一个参考分布，而非强制匹配特定提示模板。这种路由机制利用策略梯度引导模型在安全与能力间平衡，从而降低对攻击模板的敏感性。

产品团队在微调定制LLM时，若采用ROPD作为安全对齐方案，可以更可靠地抵御恶意数据注入攻击，同时保持下游任务性能。这降低了安全审核成本和后续修复风险，也简化了提示模板设计。

• 将ROPD集成至LLM微调流水线，作为标准安全对齐步骤，尤其适用于需要处理用户自定义数据的服务。
• 开发基于ROPD的API或SaaS服务，为企业提供安全微调定制模型的能力，并承诺模板鲁棒性。
• 在开源LLM训练框架中贡献ROPD实现，吸引社区采用并建立安全基线。

• ROPD在更大规模模型（如70B+）上的计算开销和实际收敛速度如何？
• 论文中“性能下降可忽略”是否面向所有下游任务？有没有任务类型存在显著退化？
• ROPD是否能在对抗训练或红队测试中抵御主动逃逸攻击？
• 该方法对系统提示切换引起的重新越狱是否具有长期稳定性？