COMED：多 LLM 推理中路由与协作之间的缺失环节

arXiv 论文提出 COMED，一种多 LLM 推理中的选择性协作控制器。论文观察到协作非单调：同伴模型既能修复单模型无法解决的错误，也会污染原本正确的答案。COMED 以锚点自一致性、路由余量和轻量同伴探测为信号，仅在协作可能有益时升级。在医疗、科学和通用推理基准的 16 个开源权重设置中均优于固定与路由锚点，MedQA 最高提升 10.7 个百分点，且调用模型和生成 token 少于密集协作；在 HLE 上把 GPT-5.5 从 23.1% 提升到 28.1%。

此前多模型系统要么先路由一次就停止，要么对每个查询都调用同伴模型。该工作指出协作收益非单调，并给出只在可能有益时才升级的中间方案，同时报告在多个基准上优于路由与密集协作，且开销更低。

COMED 作为锚点后的控制器，用锚点自一致性判断答案是否可信，用路由余量衡量歧义程度，再用轻量同伴探测估计协作是否可能带来救援。论文以救援-损害分解形式化权衡：只有当被救援的错误多于协作引入的损害时，选择性协作才有净收益。

对多模型产品而言，这意味着不必对所有请求都调用昂贵的前沿模型或同伴模型，而是按置信度与歧义度分级升级，可同时改善准确率和 token 成本。工程上需要接入锚点置信信号、路由余量和探测调用，并在业务流量中校准升级阈值。

• 在客服或医疗问答产品中接入 COMED 式后置升级控制器，对高置信答案直接返回、对歧义问题触发同伴验证
• 将锚点自一致性、路由余量和同伴探测封装为可配置的推理网关策略，按成本预算调节升级率
• 针对 MedQA 类垂直场景先做小规模 A/B，验证 COMED 相比单模型与密集协作的准确率和 token 成本
• 把救援-损害分解做成离线评估指标，用于上线前判断某类查询是否适合开启跨模型协作

• 论文在 16 个开源权重设置上的提升是否在独立复现中稳定成立
• COMED 在 HLE 上对 GPT-5.5 的提升是否依赖特定提示或评测配置
• 轻量同伴探测的具体实现与调用成本尚未在证据中给出细节
• 该控制器在延迟敏感或流式输出场景中的额外开销尚不明确