MoganBert-TR：采用CLM到MLM课程式训练的土耳其语编码器基础模型

MoganBert-TR是一个149M参数、从零训练的土耳其语编码器基础模型，采用先因果语言建模后掩码语言建模的两阶段训练计划，在237.3B token上训练。它在TrGLUE上取得78.41分，优于对比的土耳其语ModernBERT模型，在TabiBench上77.73分。其衍生嵌入模型MoganBert-Embed在MTEB(Turkish)上排名第一，平均68.30。

土耳其语编码器模型此前固定使用掩码语言建模预训练目标。MoganBert-TR引入两阶段课程式训练，在检索任务上性能提升2.7-3.7倍，并改善嵌入几何特性，为小语种模型训练提供了新的方法路径。

课程式训练先进行因果语言建模，再进行掩码语言建模，在稳定阶段切换，改变了嵌入空间的几何结构：纯MLM下单个方向吸收28.1%方差，课程式下降至11.9%，方差分布更均匀，有利于检索任务。同时，在长上下文下进行学习率衰减能小幅提升下游任务表现。

对于土耳其语NLP产品，可考虑采用MoganBert-TR替换现有编码器，预期检索和代码检索性能提升。训练成本增加约4.3%可换取0.75分提升，需权衡。嵌入模型MoganBert-Embed在MTEB(Turkish)上表现优异，可用于语义搜索和向量检索产品。

• 在土耳其语搜索产品中集成MoganBert-Embed，评估其与现有嵌入方案的检索效果对比。
• 基于MoganBert-TR开发或微调土耳其语分类、NER等任务，利用其强劲的TrGLUE表现。
• 针对代码检索场景，采用MoganBert-TR优化代码搜索功能，利用其在代码检索上的优势。
• 在资源允许时，将两阶段课程训练应用于其他低资源语言模型训练。

• MoganBert-TR在除检索外的其他任务（如生成）上与现有模型的具体对比如何？
• MoganBert-Embed在MTEB(Turkish)上的排名基于哪些具体任务？
• 课程式训练对模型收敛速度和训练稳定性的影响是否在其他规模或语种上复现？