潜在通道真的在通信吗？——对潜在多智能体LLM的因果审计

论文对LLM多智能体系统中的潜在通信进行了因果审计，通过控制消息替换实验，发现聚合准确率不能区分消息的存在、内容与来源。在GSM8K、ARC-C和MATH-500上测试Qwen3-4B和Qwen3-8B，结果显示不同模型大小和任务上消息各成分（其他示例消息 vs 示例特定内容）的贡献方向可能相反，例如GSM8K上4B的总体效果-1.00百分点分解为-6.17和+5.17，而8B方向反转。

此前潜在通信被认为能传输更多信息，但缺乏因果验证。本研究通过受控替换实验揭示，依赖端任务性能无法证明潜在消息的实际效用，必须分开测量消息存在、内容与来源的影响，这对多智能体系统的设计评估方法提出了根本质疑。

该审计在发送者输出与接收者输入边界处执行受控消息替换，设置四种消息条件（原始、其他示例、空、其他智能体），从而量化接收者对消息存在、消息身份、示例特定内容以及来自其他智能体附加值的敏感性。分解出的成分揭示了聚合指标掩盖的通信失效或假阳性效应。

对于构建多智能体LLM产品的团队，需要将因果审计纳入评估流程，避免仅靠最终准确率优化通信。潜在通道可能引入不可靠信息传递，尤其在模型规模或任务变化时效果方向可能反转，影响系统稳定性与可解释性。

• 开发一种集成在训练或推理流水线中的因果审计工具，自动检测多智能体系统中潜在通道的实际通信效用。
• 设计基于消息替换的验证流程，在部署前评估智能体间信息是否被正确利用，减少错误传播。
• 探索将潜在通道替换为显式结构化通信协议，提升可解释性并确保任务相关信息被有效使用。
• 针对不同模型规模和任务类型，建立通信有效性基准，指导模型选择与微调策略。

• 该审计方法是否适用于更大规模的模型（如Qwen3-72B）或不同架构（如GPT-4、Claude）？
• 示例特定内容与其他智能体附加值的独立性是否在所有任务和数据集上成立？
• 在不同通信拓扑（如全连接、分层）下，潜在通道的因果模式是否一致？
• 能否自动修复检测出的通信失效（例如通过反馈训练调整发送者表征）？