技能使用还是技能表演？评估技能增强型语言代理的推理后台

arXiv 发布论文《Skill Use or Skill Theater?》，提出 BACKTRACE 评估框架和 BACKROOMBench 测试平台，通过对照实验检验技能增强型语言代理的推理后台。研究发现在多模型、多领域下，代理声称的技能使用与实际因果依赖存在系统性偏差，存在静默采用和表演性使用现象。

此前评估通常依据代理的可见推理或自我归因来判断技能使用，但该论文通过干预实验揭示，这些信号无法反映技能对决策的真实影响。这一发现挑战了现有评估方法的有效性，对依赖技能代理的应用可靠性提出了新要求。

论文采用配对反事实设计，对比有技能和无技能条件下的回答，并干预技能的含义、措辞、身份、内容和分配，在答案确定后才获取归因，以分离声称的使用与实际因果依赖。结果显示，行为效果更遵循程序内容而非技能身份，且观测探测器无法识别真正依赖技能的决策，说明代理的推理过程可能存在系统性的声称与事实脱节。

对产品影响包括：基于技能代理的评估需引入反事实测试，现有观测方法可能高估技能效用；多代理系统中技能影响可能因通信而迁移，即使来源丢失仍发挥作用；研发中需注意技能身份标签与真实功能的不一致，可能误导系统优化方向。

• 开发技能代理的评估工具，集成反事实干预测试，帮助团队量化技能真实贡献。
• 在代理系统中加入技能使用审计日志，记录干预前后决策变化，便于追溯依赖关系。
• 设计技能描述优化指南，强调程序内容而非身份标签，提升技能实际采纳率。
• 为多代理协作场景提供技能溯源功能，避免影响传播但来源丢失的问题。

• BACKTRACE 框架在真实业务场景中的适用性和成本如何？
• 论文提出的‘静默采用’和‘表演性使用’是否具有普遍性，还是仅限于测试环境？
• 是否存在能有效检测真实技能依赖的观测指标或模型？
• 多代理系统中技能影响‘存活但来源丢失’的机制和边界条件是什么？