基于上下文感知的文本恶意指令鲁棒检测

研究者开发了一种检测文本中恶意指令的新方法，该方法能区分文本中的良性句子和恶意句子（即间接提示注入）。他们提出了结合上下文和查询感知的分类方法，并介绍了两种对抗训练技术来增强对逃避攻击的鲁棒性。实验表明该方法在静态和自适应攻击下均优于现有防御基线。

LLM智能体容易受到间接提示注入攻击，而现有检测器缺乏查询级感知，且未针对自适应逃避攻击进行加固。该方法首次同时解决这两个问题，提高了智能体在实际环境中的安全性，为LLM的安全应用提供了更可靠的保障。

该方法通过上下文和查询感知的分类器，在句子级别识别恶意指令。对抗训练通过嵌入式特征空间优化和LLM改写模拟逃避攻击，使分类器在攻击下仍保持鲁棒性，并通过参数化权衡效用与鲁棒性，以在两者间取得平衡。

对依赖LLM智能体的产品，此方法能提升系统对恶意指令的防御能力，减少因提示注入导致的数据泄露或误操作风险。可能增加模型部署时的计算开销，但可提高产品安全性和用户信任。研发团队需考虑集成该检测器到现有流程中，并进行基准测试以验证效果。

• 将检测器集成到现有LLM智能体框架中，提供安全层，防止恶意指令执行。
• 开发面向企业的API服务，提供恶意指令检测功能，按调用次数收费。
• 针对特定行业（如金融、医疗）定制检测器，以适应专业术语和上下文。
• 提供对抗训练加固服务，帮助其他LLM应用增强防御能力。

• 该检测器在非英语或低资源语言上的表现未见证据，需进一步验证。
• 对抗训练对模型在正常任务上的性能影响程度未量化。
• 该方法在不同规模LLM（如小型模型）上的适用性未提及。
• 计算开销和实时性能的具体数据未提供，在实际部署中可能需要评估。