QVAC Genesis III：面向高效预训练的大规模高质量开放 STEM 合成语料

该论文发布 QVAC Genesis III，一个 191.43B token 的 STEM 合成预训练语料，覆盖 19 个领域、多难度与多教学风格。其构建采用双生成策略：以小规模边缘学生模型的失误生成纠错解释，以成功案例扩展为对全部选项的对比推理。用 1.7B 参数模型从零训练对照显示，其在 ARC、GPQA Diamond 和 MMLU STEM 上优于 Cosmopedia-v2 与 Cosmo-1B，ARC-E 最高提升 28.57%。

此前开放生态缺少面向 STEM 的高质量合成数据，小模型受限的 token 预算与私有语料形成对比。该工作给出可比较的开放语料与评测协议，使边缘小模型的预训练数据选择从封闭走向可复现对照。

以弱边缘学生模型作为信号源，把失败样本转为纠错解释、成功样本扩展为选项级对比推理，相当于用学生能力边界反向定位教师蒸馏的内容重点，提升每 token 学习价值；LLM-as-a-parser 则把自由输出解析为可统计的准确率与有效率。

对做端侧或垂直 STEM 小模型的团队，可直接用该开放语料替代或补充 Cosmopedia-v2，在同等 token 预算下争取更高基准表现；评测时需同时关注准确率与有效答案率，避免自由输出解析带来的偏差。

• 在 1.7B 级别边缘模型预训练中，用 QVAC Genesis III 替换 Cosmopedia-v2 做 A/B 对照，记录 ARC 与 MMLU STEM 增益
• 基于其双生成策略，为自有学科数据构建学生失败驱动的纠错样本管线
• 引入 LLM-as-a-parser 作为内部评测标准，同时上报准确率与有效答案率

• 该语料的具体开放许可与获取方式尚未在证据中说明
• 除 1.7B 外，更大或更小模型上的效果是否同样成立
• 191.43B token 中 19 个领域的实际配比与质量分布未披露