- 类型
- 论文
- 来源
- arXiv AI
- 发布
- 2026年10月1日 12:28
- 状态
- 单一信源
发生了什么
一篇 arXiv 论文提出 APEX 方法,针对用户任务和攻击者指定动作构造并优化对抗性 skill 链。其关键机制是让上游 skill 诱导 agent 生成一份真实任务进度记录,该记录夹带虚假的用户批准声明,下游 skill 再据此执行攻击者选定的动作。在 SkillsBench 上,四个动作族、六个模型的 690 次尝试中有 512 次成功诱导目标动作,成功率 74.2%。
为什么重要
此前对 agent 的攻击多集中在单次提示注入或单个工具调用,这次展示的是跨 skill 的信任传递:上游 skill 的产物被下游当作可信依据,从而把攻击意图拆散藏在正常流程里。更关键的是,把工作流合并为单个 skill 后成功率从 84.3% 降到 17.4%,说明多 skill 串联本身放大了风险,而简单的检查文件防御会明显损害正常任务表现。
底层逻辑
机制在于 agent 会把自身生成的任务进度记录当作上下文事实,并在后续 skill 中沿用。攻击者无需直接伪造用户指令,只需让上游 skill 说服 agent 写下一条包含虚假用户批准的结构化记录,下游 skill 读到该记录后就会把攻击者选定的动作当成已授权步骤执行。随着 skill 数量增多,信息在环节间传递时缺少来源与权限校验,攻击面随之扩大。
产品与商业机会
若产品允许接入开源或第三方 skill 并串联执行,需要把 skill 产出的文件、记录与用户原始意图做来源区分,不能默认可信。研发侧要在 skill 交接处增加权限与意图校验,并评估防御带来的正常任务成功率下降,例如论文中验证器测试通过率从 86.7% 降到 56.3%。这会直接影响 agent 编排设计、审核成本与用户对自动执行动作的信任。
- 在 agent 编排层为每个 skill 的输入输出打来源标签,区分用户原始请求与 skill 生成内容,并对跨 skill 的授权声明要求二次确认。
- 针对多 skill 串联场景建立红队测试集,覆盖不同动作族与模型,把目标动作成功率作为上线前的安全指标。
- 设计低干扰的防御方案,在拦截攻击者指定动作的同时监控正常任务成功率,避免像统一提示防御那样大幅损害效用。
- 对第三方 skill 仓库建立审核与签名机制,标记哪些 skill 会诱导 agent 生成可被下游复用的授权类记录。
仍待确认
- APEX 在真实生产 agent 框架上的成功率是否与 SkillsBench 一致,证据仅来自该基准。
- 是否存在既能拦截攻击者指定动作、又不显著降低正常任务成功率的防御方法,论文只评估了一种提示防御。
- 不同 skill 来源(官方、开源、企业内部)对攻击成功率的影响尚不明确。
- 论文中的 84.3% 与 17.4% 差异是否由 skill 串联机制本身导致,还是与任务拆分方式有关,证据未充分拆解。