精确动作值不足：滚动验证的强化微调用于多区域VAV控制

一项研究测试了多区域VAV控制中，前沿推理模型GPT-5无需建筑特定训练即可达到竞争力控制，相比Guideline 36基线降低6.2%电力但牺牲通风余量。随后，研究者用TD3引导的强化微调将控制知识转移到本地可部署的开源权重模型，TD3使HVAC电力降低4.5%并改善温度与CO2合规性。然而，审计发现学习型评论家的状态内排名不可靠，在10个状态中仅5次选出最佳动作；即使使用滚动验证器，200步强化微调也未带来采样动作回报的持续改进，开源模型训练前后电力消耗均高于基线。

此前强化学习或模型预测控制部署需针对建筑特定建模或训练，限制可扩展性。本研究首次测试前沿推理模型无需建筑训练即可进行VAV控制，且发现高相关性评论家可能存在隐藏的排序缺陷，这对强化学习微调的可信度提出警示，影响模型落地评估方式。

研究先评估GPT-5的零样本控制能力，再尝试通过TD3（一种强化学习算法）引导的强化微调将知识转移到开源权重模型。强化微调使用确定性滚动恢复保存状态、应用候选动作并用TD3评分。审计评论家时，发现其与滚动验证结果的相关性高达0.9998，但状态内排序不可靠，说明高相关性可能掩盖局部错误。

对依赖强化学习微调的控制系统研发，本研究提示单纯依赖评论家评分可能导致次优策略。产品需引入滚动验证机制，然而结果也表明即使有验证器，微调在电力消耗和回报上未改善，可能影响此类技术部署决策，需谨慎评估基线对比。

• 开发结合滚动验证的评论家审计工具，帮助识别高相关性下的排序错误，提升强化学习模型的可靠性。
• 探索更有效的强化微调策略，如增加训练步数或改进奖励设计，以改善开源模型的控制节能效果。
• 针对通风余量问题，设计可配置的约束机制，使模型在节能的同时满足空气质量合规要求。

• 研究基于三天的夏季仿真，更长周期或其他季节的表现如何？
• 开源模型在微调后未改善，是否因为训练步数不足或其他超参数问题？
• GPT-5的6.2%节能是否在其他模拟环境或真实建筑中可复现？
• 滚动验证器在更多状态下的可靠性如何，能否作为通用评估标准？