APort Vault：用 Open Agent Passport 对 AI agent 支付授权做基准测试

该论文提出 APort Vault，一个针对工具调用型 AI agent 支付授权的基准。它回放人类在公开 CTF 活动中对真实支付 agent 写出的 4,371 个攻击，覆盖 8 个实验室的 14 个模型、五种策略配置和两条回放路径，共完成 225,964 次评估，并对比是否加入实现 Open Agent Passport（OAP）规范的确定性前置检查。

此前 agent 支付安全多以单一模型得分衡量，而该基准把策略配置、攻击群体与授权边界分开统计，并给出加前置检查前后的对照。其显示模型单独执行时对未授权收款方的转账为 140 次，加检查后为 0，且并非靠拒绝支付达成。

机制是在模型产生支付动作前插入一个确定性前置检查，按 Open Agent Passport 规范判断收款方是否在允许名单内。评估被拆为五个事件，避免把不同失败模式压成单一数字；请求率更多随策略配置而非模型变化，说明授权边界由策略而非模型能力主导。零未授权转账覆盖 790 个源会话，单会话上界为 0.38%，同时仍有 25,370 笔支付实际执行。

对支付类 agent 产品，结论指向把授权判断从模型输出移到模型之外的确定性规则层，并保留拒绝与执行两类结果的可审计记录。研发上需要按策略配置分层做回归测试，而不是只看模型总体通过率；产品侧需明确允许名单维护、请求与授权事件分离上报。

• 在 agent 支付链路中接入符合 OAP 的确定性前置授权检查，并记录每次请求、拒绝与执行三类事件。
• 针对允许名单与策略配置建立分层回归测试集，复用公开攻击回放方式验证版本迭代。
• 面向支付 agent 提供授权边界审计日志，向客户展示未授权转账拦截与误拒比例。

• 证据中的 140 比 0 等数字出自单一论文与单次公开活动，尚缺独立复现验证。
• OAP 规范的具体条款、实现成熟度与第三方兼容情况未在证据中说明。
• 前置检查在真实生产流量下的延迟、成本与误拒率尚无数据。
• 该基准是否能覆盖非允许名单类风险，如金额篡改或重复支付，未被证据确认。