一种自我演进的智能体框架，用于防御大语言模型越狱攻击

arXiv 发布一篇论文，提出一种自我演进的测试时防御框架，针对大语言模型的越狱攻击。该框架通过跨交互的规则记忆，将成功攻击抽象为方法级规则，并复用于未来输入，无需参数更新，适用于开源和黑盒 API 模型。实验表明，该方法显著降低多种黑盒越狱家族的攻击成功率，同时保持良性效用。

现有防御多为静态，部署后安全行为固定，无法积累防御经验或适应新攻击策略。该框架引入持续的跨交互规则记忆，使防御能随攻击演化而自我更新，将越狱防护从静态转向动态，可能改变安全防护的设计范式。

该机制在攻击成功时，将失败抽象为方法级规则，捕获攻击结构而非有害主题，从而跨攻击家族泛化，并随新攻击包装出现扩展标签空间。通过外部记忆和提示实现，无参数更新，支持多种模型架构。

对依赖大语言模型的产品，该技术可减少越狱攻击导致的风险，降低安全事件概率。因无参数更新，部署成本可控，且内存增长不会增加过度拒绝，可能提升用户体验并降低安全运营负担。

• 集成该防御框架到现有 LLM 产品中，作为测试时安全层，减少越狱风险。
• 开发基于该方法的安全评估工具，帮助企业测试其模型的抗越狱能力。
• 针对垂直行业（如金融、医疗）定制规则记忆，提升领域特定安全性。

• 证据未提供具体实验数据或基准对比，需验证效果的可复现性。
• 该框架对复杂动态攻击（如多步间接攻击）的鲁棒性仍需进一步确认。
• 证据未说明规则记忆的存储与检索成本，需评估长期运行的可扩展性。