将英文质量分类器适配用于多语言 LLM 预训练数据筛选

该 arXiv 论文提出一种多语言适配方法，将现有英文质量分类器改造为支持 100 多种语言的多语言版本。做法是在仅编码器 Transformer 嵌入之上训练小型多层感知机，输入为多语言文本，标签为英文分类器对机器翻译文本的打分。在 1B、3B、8B 规模实验中，该方法在保持下游基准表现的同时未损害区域与文化知识基准，并能对训练未覆盖语言沿用原英文分类器的评分标准。

此前基于模型的高质量数据筛选主要服务高资源语言，低资源语言受限于标注数据稀缺而难以复制。该工作把筛选能力扩展到 100 多种语言，并声称不牺牲下游性能与区域文化知识，为多语言预训练数据筛选提供了一条可复用英文已有资产、减少新增标注依赖的路径。

机制上不再为每种语言单独训练分类器，而是复用英文分类器的判断作为监督信号：先将多语言文本机器翻译为英文并获取英文分类器打分，再以这些分数为标签，在多语言编码器嵌入上训练轻量 MLP。这样分类器可在低资源语言上继承英文版本的评分标准，并在未参与训练的语言上表现出跨语言泛化。

对做多语言模型预训练的团队，这意味着可以用较小训练成本把已有的英文数据质量筛选管线迁移到上百种语言，降低低资源语言的标注与人工审核投入；数据工程流程需增加机器翻译与打分环节，并需评估翻译误差对筛选结果的影响，同时可保留区域文化知识类评测作为回归指标。

• 在多语言预训练数据管线中接入该适配方案，复用现有英文质量分类器，减少低资源语言的标注预算。
• 围绕机器翻译打分环节建立质量校验与抽样人工复核流程，作为可售卖的数据筛选服务能力。
• 针对目标市场语言构建区域文化知识评测集，验证筛选后数据未损害本地化表现。
• 将评分与 LLM 评判的相关性纳入持续监控，作为分类器版本迭代的上线门槛。

• 该方法的实验细节、代码与数据是否公开可复现？
• 机器翻译质量对分类器打分及下游效果的具体影响有多大？
• 在 1B、3B、8B 之外的更大规模上是否仍保持同等表现？
• 该方法与现有多语言模型筛选基线相比，在计算成本和吞吐上的具体差异是多少？