- 类型
- 论文
- 来源
- arXiv AI
- 发布
- 2026年10月22日 14:48
- 状态
- 单一信源
发生了什么
该 arXiv 论文研究提示注入下 LLM 代理工具执行的安全问题,将 LLM 与工具之间的执行框架形式化为 Petri 网的监督控制问题,用标记表示能力、审批和预算;当所需的标记不存在或已经花费,被注入的请求就会被拒绝。论文还提出重规划闭环,并指出在该闭环中,传统监督器可能比更严格的安全监督器带来更多干预。
为什么重要
此前代理安全多依赖提示词约束或模型判断,措辞变化可能绕过防护;该工作把执行许可交给 Petri 网状态约束,使安全条件不取决于请求文本,并给出可转移到运行系统的条件。
底层逻辑
Petri 网中的变迁只有在所需标记齐备时才会触发,因此预先未满足或已经耗尽的能力、审批和预算会从机制上阻断执行;论文把工具结果视为不可控事件,采用最大允许监督器保障安全,并在重规划闭环中把每次重试计入推理成本,进而用价值阈值细化来刻画最低干预监督器。
产品与商业机会
对代理产品而言,可在推理与工具调用之间加入状态化许可层,按能力、审批和预算控制执行;重试需消耗推理调用,意味着拒绝策略会直接影响延迟与成本,产品需设计拒绝后的重规划路径。
- 在代理编排层实现基于标记的预算与审批控制,支持拒绝后按成本重规划
- 为工具调用记录标记消耗日志,便于审计注入请求被拒的原因
- 针对高并发动作,验证论文提出的最多一个监视库所排序条件是否可落地
仍待确认
- 论文提到的四个安全转移假设具体是什么,证据未列出
- 重规划闭环中推理调用成本如何计量,证据未说明
- 自主发布代理实验中所需拒绝步骤的具体形式未披露
- 该框架在真实产品工具链中的集成开销尚不明确