基于DMD的提示-响应嵌入动态分类以强化LLM安全

一篇发表于arXiv的论文提出利用基于DMD（动态模态分解）的分类方法，通过分析提示和响应嵌入的动态来检测LLM的不安全输出。该方法属于黑盒方式，在安全基准测试中结合多种嵌入模型评估，结果显示结合提示嵌入可提升检测效果，尤其在交互相关违规中表现明显。

此前不安全内容检测多依赖白盒或语义分类，该研究引入黑盒动态系统方法，利用提示和响应的交互嵌入，有望提升对依赖上下文的违规检测准确性，为模型安全监控提供新思路。

该方法将提示和响应投影到高维嵌入空间，分别为安全和不安全场景拟合Koopman动态模型，通过比较两个模型的预测残差来分类。结合提示和响应的嵌入动态，捕捉交互模式，提高对上下文敏感的不安全内容的识别能力。

对依赖第三方LLM API或黑盒模型的团队，该方法可作为一种附加安全过滤器，无需访问模型内部，能在不增加推理成本的前提下提升内容安全审核的准确率，尤其对多轮对话产品中的违规检测有帮助。

• 将基于DMD的安全分类器接入现有内容审核管道，作为二次筛选，减少漏检。
• 针对依赖上下文攻击的对话产品，优先优化嵌入模型选择（如causal decoder），提升交互违规识别。
• 开发SaaS化黑盒安全检测服务，向使用外部LLM的企业提供API，按调用量计费。

• 该方法在真实生产环境中的计算开销和延迟表现如何？
• 除论文提及的基准外，对中文或其他语言的不安全内容检测效果如何？
• Koopman模型的拟合是否依赖大量标注数据？实际部署中的数据需求是多少？