局部稀疏性实现无监督 LLM 安全检测

arXiv 论文《Local Sparsity Enables Unsupervised LLM Safety Detection》提出一种基于局部稀疏性的无监督 LLM 安全检测框架。作者指出，部署期安全方法多依赖有监督学习并需不安全训练数据，难以覆盖新攻击与危害类别；他们转而用异常检测思路，仅建模安全数据。基于线性表示假设（LRH），在稀疏自编码器（SAE）恢复的概念空间中，相邻点共享较小的公共活跃支撑，据此提出局部掩码 SAE 异常检测框架，并在多种架构与数据集上验证。

此前 LLM 安全检测主要依赖有监督方法，需要预先收集不安全训练数据，面对新出现的攻击与危害类别时覆盖能力有限。该工作把安全检测转为仅基于安全数据的异常检测问题，并给出在 SAE 概念空间中的局部稀疏性依据，试图绕开对标注不安全数据的依赖，方向上有别于主流做法。

线性表示假设认为概念在高维激活中以线性方向存在，SAE 可将其恢复为稀疏概念空间。由于相邻点在该空间中只共享少量公共活跃支撑，正常安全样本的局部结构可以被建模，偏离该结构的输入即被判为异常。局部掩码机制使计算只涉及约 1% 至 2% 的 SAE 神经元，从而降低检测开销，并给出理论支持。

若该方法可工程化，安全检测模块可能不再依赖持续收集的不安全标注数据，降低数据维护成本，并对新攻击类别具备一定泛化能力。推理侧仅使用 1% 至 2% 的 SAE 神经元进行计算，有利于控制部署期额外开销。使用 1% 分布外数据进行校准可接近最优性能，意味着产品侧可能只需少量校准样本即可上线或调优。

• 在模型网关或推理服务中试验基于 SAE 的异常检测插件，仅用安全流量校准，评估对未知攻击的召回率与误报率。
• 针对不同架构与安全数据集复现论文的 1% 校准设置，量化上线所需标注与算力成本，形成内部基准。
• 将局部稀疏检测与现有有监督安全分类器组合，作为互补信号，减少固化模型对新危害类别的漏检。

• 论文披露的理论假设在实际部署模型上是否普遍成立，尚未由证据确认。
• 在真实生产流量中，1% 分布外校准数据能否容易获得并具有代表性。
• 方法对中文及多语言场景的检测效果，证据未涉及。
• 使用 1% 至 2% 神经元时，检测延迟与吞吐的具体开销数值未在证据中给出。