迈向自动化测试LLM安全知识的方法

arXiv上的一篇论文提出一种部分自动化的方法，用于评估大型语言模型（LLM）在特定安全领域（如身份盗窃和冒名诈骗）的知识水平。该方法利用消费者保护机构（CPA）的权威信息，通过检测LLM回答的不稳定性来指示知识缺口，并在Gemini和GPT两个模型家族的5个模型上进行了演示，能够区分模型是否具备足够知识准确识别安全主题。

此前评估LLM安全知识需要大量手动构建题目和任务基准，依赖专业安全知识。该研究首次使用CPA官方信息实现部分自动化测试，大幅降低了人工成本，使得更广泛、更频繁的安全知识评估成为可能。

方法假设权威CPA信息是安全知识的黄金标准。通过将LLM对安全叙事文本的判别与CPA信息对比，若LLM响应在不同语境下不一致（不稳定），则表明存在知识缺口。这种基于不稳定性的检测机制替代了传统的人工标注和评分流程。

• 为LLM安全客服机器人开发自动知识缺口检测工具，集成CPA数据源实现持续监控。
• 推出面向企业内部的安全知识测试SaaS，支持自定义安全主题和模型版本评估。

• 该方法在其他非消费保护领域（如网络安全攻防）是否同样有效？
• CPA信息的更新频率和覆盖范围是否会限制测试的时效性和普适性？
• 不同LLM家族（如开源模型）是否适用同样的不稳定检测阈值？