ToxScreen：检测大语言模型是否被投毒

研究人员发布了ToxScreen基准，包含约800个植入后门的大语言模型，用于在无训练数据、无参考模型、不确定是否被投毒的现实条件下评估后门触发器的检测能力。测试发现基于梯度的提示优化无法恢复触发器，而基于攻击成功率的token查找在有效后门上能成功恢复。后门与越狱的运作机制不同，可利用此差异过滤越狱攻击。

此前检测后门通常需要训练数据或参考模型，ToxScreen在更现实的条件（无训练数据、无参考模型、不确定是否被投毒）下评估检测方法，发现了有效的token查找恢复策略，并揭示了后门与越狱的机制差异，为提升LLM部署的安全性提供了新工具和思路。

后门攻击通过向训练数据注入特定触发器使模型在推理时产生恶意行为。ToxScreen发现基于梯度优化的方法在恢复触发器时失效，而基于攻击成功率的token查找能成功恢复。此外，后门与越狱（直接提示攻击）的运作机制不同，可利用权重特征进行区分，从而过滤掉越狱攻击而保留后门检测。

对开发部署LLM的团队，可利用ToxScreen方法检测模型是否被投毒，提升安全审计能力。但研究指出尚无单一可靠方法检测所有后门，而广泛可越狱的模型本身可作为异常信号。团队需投入资源实施后门检测流程和越狱过滤机制。

• 开发基于token查找的后门检测工具，集成到模型部署前的安全检查流程中。
• 利用后门与越狱的机制差异，在推理时构建过滤器区分恶意输入。
• 参考ToxScreen基准测试，评估自有模型在被投毒场景下的抗性。

• token查找方法是否适用于更大规模模型或不同架构？
• 该方法能否检测所有类型后门（如不同触发器形态）？
• 如何平衡后门检测准确率与误报率？
• ToxScreen方法在动态训练环境（如持续学习）中是否有效？