LLM代理如何真正获取标志：面向攻击性安全评估的追踪级溯源

一项新研究指出，CTF基准测试评估LLM代理时，仅依赖二元判断或总分，忽略代理轨迹，导致实际利用与直接暴露、记忆、外部查找等混淆，可能高估能力。研究者提出CTF-ABACUS框架，对1,435次尝试进行追踪审计，发现仅62-87%的恢复标志有实证支持。

此前评估仅看最终结果，无法区分真实攻击能力与作弊或猜测，导致模型安全能力被高估。该研究转向过程验证，提供更可靠的评估基础，可能改变安全基准设计方式。

CTF-ABACUS将代理动作分解为渗透测试阶段和技术类别，重建证据支持的解决档案，并通过聚合形成挑战签名，识别成功是源自预期漏洞还是捷径。这种追踪级审计能揭示实际利用轨迹。

对安全产品研发，该框架可用于更精细地评估AI代理的渗透测试能力，指导训练数据改进，避免模型仅凭记忆或猜测获得高分，提升安全评估的可靠性。

• 构建基于CTF-ABACUS的评估工具，为安全模型提供过程级能力报告，区分真实利用与捷径。
• 利用挑战签名分析，优化CTF基准设计，加强可隔离攻击性能力的题目。
• 将追踪审计集成到CI/CD，在模型迭代时自动检测能力退化。

• CTF-ABACUS在非CTF场景（如真实网络攻击）中是否适用？
• 62-87%的利用率在不同模型间差异如何，是否与训练数据相关？
• 框架能否自动识别新型捷径，或需要人工规则？