- 类型
- 论文
- 来源
- arXiv AI
- 发布
- 2026年9月16日 21:02
- 状态
- 单一信源
发生了什么
该论文指出,工具增强 LLM agent 存在结构性盲区:会调用不存在的工具、传入无 schema 声明的参数,而现有工具选择与工具安全方法都预设调用指向真实工具,因此无法拦截。作者提出 H1-H5 五类工具幻觉分类,并给出无需训练的封闭世界解析器 Resolution Rung(注册表成员校验加签名检查)。在十款托管模型、两种调用界面下测得 322 次真实幻觉,编造工具调用集中在未约束的原始 JSON 界面(34 比 3),模型规模无帮助,675B 与 7-8B 相当。扩展到 MCP 后,多服务器合并命名空间产生单注册表无法表达的新幻觉面(M1-M5),在真实 MCP 界面测得 154 次幻觉,包括在单注册表界面表现干净的前沿模型。
为什么重要
此前工具调用研究主要集中在选对工具(tool selection)和限制真实工具权限(gating),默认调用本身指向真实工具。该工作指出幻觉调用在构造上不是任何 gate 做出的决策,因此 gate 无法拒绝它,并把防御位置前移到任何因果 gate 之前,改变了工具调用安全与评测的讨论前提。
底层逻辑
机制上,幻觉调用不来自真实注册表决策,属于封闭世界成员关系之外的对象,所以门控类方法在结构上无法覆盖。Resolution Rung 用注册表成员校验加签名检查在调用进入因果 gate 前做解析,训练无关。MCP 把多个服务器合并进单一命名空间后,名称碰撞与遮蔽使单一注册表无法表达全部合法工具,产生新的幻觉面。
产品与商业机会
对构建 agent 产品的团队,评测与防护不能只做工具选择准确率或权限门控,需要在调用链最前端加入封闭世界解析,并单独覆盖原始 JSON 调用面与 MCP 多服务器命名空间。原始 JSON 界面幻觉集中且模型规模不改善,意味着不能靠换更大模型解决,需要在解析层与命名空间设计上投入。
- 在 agent 调用链最前端部署训练无关的封闭世界解析层,对工具名做注册表成员校验、对参数做签名检查,拦截不存在的工具调用。
- 对开放的原始 JSON 调用界面增加 schema 约束或改用受约束调用面,并单独监控该类界面的编造工具调用率。
- 为 MCP 多服务器合并场景建立命名空间碰撞与遮蔽检测,把 M1-M5 类幻觉纳入上线前测试集。
- 把工具幻觉纳入 agent 评测基准,区分单注册表与多服务器 MCP 界面分别报告幻觉数量。
仍待确认
- Resolution Rung 的实际拦截率、误报率与性能开销尚未在证据中给出。
- 借用参数这一不可消除残留(与合法调用在 schema 上不可区分)目前是否有可行缓解手段尚不明确。
- M1-M5 分类的完整定义与各模型在 MCP 界面的细分表现未被证据完整披露。
- 证据未说明两种调用界面与十款模型的具体清单,结论的适用范围待确认。