询问、条件化或弃权：用于缺失前提推理的强化学习

arXiv AI 发布论文 ACA-RL，针对缺失前提的推理问题提出强化学习框架，通过数据增强将完整问题转化为缺失前提实例，并对五种响应行为进行奖励，同时推出人工验证的 MPB 基准（274 实例）。在 Qwen3 和 Llama 模型上测试，ACA-RL 在 MPB 上持续改进，且不损害完构问题的推理性能，并已发布代码、基准和训练数据。

此前强化学习推理模型假设问题完整，而现实查询常缺前提。ACA-RL 首次系统训练模型识别欠定任务，并选择询问、条件化或弃权，改变了评估范式，从仅衡量答案正确性转向衡量不确定性处理能力。

ACA-RL 通过推理图引导的管线，将良构问题转换为带局部间隙标注的缺失前提实例，并设计结构化奖励函数，针对五种可观察响应行为（如询问、条件化、弃权）给予不同奖励，从而在强化学习训练中引导模型学习适应欠定问题的策略。

对产品研发而言，ACA-RL 提供可复用的训练框架和基准，可用于改进 AI 助手和客服机器人，使其在信息不足时主动询问或明确条件，避免错误回答，提升用户体验和信任度。代码和数据的开源降低了采用成本，可加速集成到现有推理流程。

• 在智能客服中集成 ACA-RL，引导助手在用户提问缺少关键参数（如日期、地点）时主动追问，减少无效回复。
• 基于 MPB 基准构建测试集，评估现有问答产品在欠定问题上的表现，定位改进点。
• 将 ACA-RL 的训练管线嵌入模型微调流程，增强模型对不完整指令的鲁棒性，适用于自动化任务执行场景。

• ACA-RL 在更大规模模型（如 70B 以上）上的效果是否保持？
• 训练数据的具体生成方法和规模未在摘要中说明，是否会产生偏差？
• 在真实业务场景中，ACA-RL 的询问和弃权行为是否符合用户期望，是否影响交互效率？