当推理收窄行动：LLM游戏中的多样性崩溃

一项研究在可控tic-tac-toe变体棋盘游戏中考察了监督微调（SFT）对LLM序列决策行为多样性的影响，发现推理模式生成常压制动作多样性却不提升准确性，标准SFT虽提高准确性但导致过早的多样性崩溃，而基于所有最优动作的训练可部分缓解此效应。

此前关注SFT对准确性的提升，但该研究揭示SFT会系统性降低LLM在决策任务中的行为多样性，导致探索性行为丧失，这一代价在游戏及类似序列决策场景中可能限制长期性能。

SFT训练模型模仿单一示范动作，导致对状态动作空间支持的窄化，形成“窄支持模仿”——模型丢弃其他同样最优的动作选项，从而在保持准确性的同时牺牲多样性；动作增强通过引入所有最优动作保留动作支持，部分维持多样性。

依赖SFT进行LLM微调的团队需评估下游任务是否需要保持动作多样性（如Agent、游戏AI、推荐决策），过早多样性崩溃可能导致模型在未见场景中缺乏适应能力，降低鲁棒性。

• 在游戏AI或Agent训练管线中引入动作增强技术，为每个状态保留所有最优动作标签，避免多样性过早丢失。
• 开发多样性监控指标（如动作熵、支持集大小），在SFT训练中设置阈值，当多样性低于某水平时自动切换动作增强策略。
• 面向需要探索的应用（如自动化交易、对话策略），探索在SFT后接少量强化学习以恢复多样性，而非仅依赖监督信号。

• 动作增强在所有任务中是否总是优于标准SFT？证据仅来自tic-tac-toe变体，需更多复杂环境验证。
• 能否量化“多样性崩溃”对真实产品长期收益（如用户留存、推荐多样性）的具体影响？
• 是否存在其他微调方法（如强化学习、对抗训练）能在保持准确性的同时更好保留多样性？