按动作计数、按声音加权：面向持续对抗下多 LLM 委员会校准的贝叶斯辩证论证

一篇 arXiv 论文提出 Bayesian Dialectical Argumentation（BDA），用于多 LLM 委员会（council）的答案聚合。该方法把「谁提出、谁质疑、谁让步」等带类型的发言视为对一个带「每智能体可靠性」参数的经典标注者模型的观测，从而把多智能体审议转化为可靠性估计问题。论文称，在二分类与多分类基准上，BDA 在零额外 LLM 调用成本的聚合方法中校准最好，并在持续对抗联盟下提升鲁棒性，干净场景中仍有竞争力。

此前的 council 聚合方法存在两点不足：置信度反映的是「决策果断程度」而非「正确的概率」，且无法识别并折价长期不可靠的智能体。BDA 将审议轨迹用于推断智能体可靠性，使部分持续不可靠的智能体可被反转而非仅被票数压制，为多模型协作的校准与抗对抗提供了不同思路。

BDA 将 council 的带类型动作作为观测，套用带每智能体可靠性参数的经典标注者模型，把多智能体审议重构为可靠性估计问题。依据推断出的可靠性对证据加权，得到候选答案上的校准后验概率；当某智能体被判定为持续不可靠时，其证据可被反向使用，而不是单纯在投票中被多数覆盖。整个流程不增加额外 LLM 调用。

若该结论可复现，多模型审议产品的置信度可改为更接近「正确概率」的校准值，便于设定自动化或转人工的阈值；同时可在不增加 LLM 调用成本的前提下，降低个别长期出错或对抗性智能体对最终结论的拉偏。研发上需要额外实现审议轨迹记录与可靠性估计模块。

• 在多模型投票/审议功能中增加基于发言轨迹的每智能体可靠性估计，并输出校准后的正确概率而非仅输出置信度分数。
• 将校准后验概率接入转人工或自动执行阈值，按业务风险设定不同触发点，减少高置信误判带来的返工。
• 针对易受个别模型误导的场景，测试对持续不可靠智能体证据反向加权的效果，作为现有投票聚合的替代方案。
• 建立内部评测集，同时覆盖干净场景与持续对抗联盟场景，比较 BDA 与现有 council 聚合方法在成本不变前提下的校准差异。

• 论文的基准测试具体使用了哪些数据集、模型组合与对抗设定，证据中未给出。
• 「零成本」指不增加 LLM 调用，但可靠性估计与轨迹记录带来的计算和工程开销是否可忽略，尚未说明。
• 在智能体数量较少或发言稀疏时，每智能体可靠性参数是否仍能被稳定估计，证据未涉及。
• 该方法在生产环境中的延迟、维护复杂度与实际业务收益，尚无独立验证。