MADA-RL：面向紧凑模型参数高效推理的多智能体辩论感知强化学习

MADA-RL（多智能体辩论感知强化学习）是一种面向紧凑模型（≤4B参数）的后训练框架。它将模型分为生成器和评论家两种角色，通过反事实评论家优势（评论家奖励减去生成器集成的实例准确率）进行训练，并仅用LoRA微调少量参数。在五个数学推理基准上，MADA-RL将DeepSeek-R1-Distill-Qwen-1.5B模型的准确率从39.9%提升至41.9%（+2.0个百分点），且训练参数比全微调少16倍。

此前紧凑模型的推理能力提升往往依赖全参数微调或大规模数据集，成本高昂。MADA-RL在极少的可训练参数下实现显著准确率提升，为资源受限场景下的模型推理增强提供了新路径。

反事实评论家优势是一种动态、角色条件的基线：评论家的优势定义为它的奖励减去生成器集成在每个实例上的准确率。这促使评论家优化自身去改进生成器的共识，而非简单复现正确答案，实现更精准的信用分配。训练后，将特化模型以轻量多轮协议组合部署。

可直接降低紧凑模型提升推理能力的训练成本与计算资源需求；适合需要快速迭代或部署到边缘设备的场景；但需注意推理时会引入多轮交互，可能增加延迟。

• 在移动端或嵌入式设备上，用MADA-RL微调小型模型以提升数学或逻辑推理能力，减少云端依赖
• 将MADA-RL的生成器-评论家架构应用于特定领域（如代码生成、病例分析）的持续学习，降低全量微调成本

• MADA-RL在非数学推理任务（如常识、长文本理解）上效果如何？
• 多轮推理协议的实际时延与完整级模型相比有多大差距？
• 反事实优势机制能否扩展到更大模型或不同架构（如MoE）？