面向自进化智能体的联盟感知技能可靠性研究

一篇 arXiv 论文提出，基于 LLM 的自进化智能体从技能库中复用技能，但现有研究忽略技能的实际贡献。通过系统性审计发现两种可靠性失败：联盟污染和跨域效用反转。为此提出两种干预方法：联盟感知技能选择（CASS）和无监督技能掩码联盟优化器（u-SMCO）。在 LoCoMo、LongMemEval、HotpotQA 和 ALFWorld 上的实验显示，这两种方法稳定提升了任务性能和跨域泛化能力。

此前研究聚焦技能获取、进化和检索，忽视了技能是否真正对智能体行为产生正面影响。该研究通过系统审计揭示了技能库中的隐性故障，并给出可操作的修复方法，推动自进化智能体向更可靠方向发展。

使用 Shapley 边际值评估候选技能对当前技能库的贡献，选择更可靠的技能；通过无监督方式掩码在目标域上降低检索质量的技能，从而提升跨域泛化。该方法不依赖标签，可自动优化技能库组合。

对于依赖 LLM 智能体自动完成任务的研发团队，可借鉴此方法优化技能库的筛选与迁移过程，提升智能体在长对话、多跳问答及具身任务等场景中的准确性和泛化能力，减少因技能误用导致的错误结果。

• 在 LLM 智能体框架中引入技能贡献审计机制，自动识别并剔除负面技能。
• 开发无监督技能掩码工具，用于跨域部署时自动调整技能库。
• 基于 Shapley 值设计技能选择插件，提升现有 agent 系统的可靠性。

• CASS 和 u-SMCO 在更多不同类型的任务和领域中的泛化效果如何？
• 论文中未提及计算成本，实际部署时 Shapley 值的计算开销是否可接受？
• 该方法是否适用于开源小规模模型，还是仅对大型模型有效？