在可检测性边缘进行后训练：一种博弈论微调方法

该论文提出了一种基于博弈论的微调方法，通过构建代理与监控者的顺序博弈，将KL正则化系数转化为最大化每单位统计可区分性奖励的参数，并利用凹-凸分数规划学习均衡系数。实验在Qwen3-8B和Llama-3.2-1B上验证，表明该方法能实现有竞争力的奖励保留权衡，优于传统启发式或超参数搜索方案。

此前KL正则化系数通常依赖启发式或超参数搜索，导致训练成本高且易产生次优折衷。本文首次用博弈论框架从理论上定义并求解最优系数，为微调提供了一种无超参数搜索的自动调优方法，有望降低训练开销并提升模型性能保留。

论文形式化为一个顺序博弈：代理（微调策略）选择策略最大化累积奖励，监控者观察输出序列并统计检验其是否偏离参考策略。均衡时策略等价于KL正则化RL优化，其最优正则化参数可视为最大化每单位统计可区分性的奖励，通过分数规划转化为KL正则化RL目标并求解，从而融入标准微调流程。

• 将该博弈论微调方法集成到语言模型训练框架（如RLHF）中，自动确定KL正则化系数，减少人工调参成本。

• 该方法在更大规模模型或多任务持续学习场景下的泛化性如何？
• 监控者的统计检测能力是否存在假设限制（如样本量需求）？
• 与直接超参数搜索相比，该方法的实际计算开销是否显著降低？