基于验证器的强化微调推理模型用于热能存储控制

arXiv AI的一项研究将开源推理模型通过基于验证器的强化微调（RLVR）应用于建筑热能存储控制。仅用30个训练样本，微调后模型将碳排放从70.5降至61.2 kg-CO2，接近动态规划最优值60.8；GPT-5无需专用训练即可接近此水平，而GPT-4o等非推理模型表现较差。微调主要稳定了候选比较、前瞻和可行性检查等规划模式。

该研究展示了一种低成本的推理模型微调方法，使小型开放模型在特定控制任务中接近最优解，降低了传统模型预测控制或强化学习的部署门槛，且仅需极少训练数据即可获得显著性能提升。

研究将精确离线动态规划的动作值转换为稠密奖励信号，对开源推理模型进行强化学习微调。模型从文本状态和预测中输出热泵设定点，微调过程强化了候选比较、前瞻和可行性检查等规划模式，而非创造全新策略。

对于建筑能源管理和储能调度产品，此方法可能以较低计算成本实现接近最优的控制效果，减少对复杂模型预测控制或大规模强化学习的依赖；但泛化到不同结构任务时增益有限，需针对具体场景微调。

• 开发基于RLVR的建筑能源控制微调服务，为楼宇自动化系统提供低算力调度方案
• 将类似框架推广到储能、电池调度等时序控制场景，仅需少量领域专家标注即可微调
• 集成到能源管理平台，提供可定制的推理模型控制器，替代传统基于规则或MPC的方案

• 微调后的模型在更大规模或更复杂建筑系统中的表现如何？
• RLVR方法对初始模型的选择有多敏感？不同开源推理模型效果差异如何？
• 该微调策略能否在实时控制环境中稳定运行，推理延迟是否满足要求？