面向AI辅助生成教育问题的预训练模型教学评估效果研究

研究比较传统机器学习、transformer 和大型语言模型在 Bloom 层级分类任务上的表现，作者指出这些模型在分布内数据集上准确率较高，但在 AI 辅助生成问题的分布外数据集上性能下降。基线测试中 TFPOS-IDF 机器学习模型 Macro F1 为 0.48，BERT 为 0.55，LLM 为 0.79；文本拼接将机器学习和 BERT 分别提升到 0.59 和 0.62；追加学习目标在特定数据集上有效；模型重训练在各模型和数据集上提升最大。

AI 生成教育内容的速度已超过人工验证其教学质量的能力，自动 Bloom 分类被视为规模化评估的可行路径。但该研究显示，预训练模型从常规数据集迁移到 AI 生成的新问题上会明显掉点，说明把已有评估模型直接用于新内容并不可靠，需要针对分布偏移做专门处理。

Bloom 分类器在分布内数据上精度高，是因为训练与测试数据同源；当输入换成 AI 生成问题，词汇、句式与认知层级标注分布改变，造成分布外性能下降。LLM 在零样本迁移上表现更好，可能与其预训练语料覆盖更广有关。文本拼接、追加学习目标和重训练则通过补充上下文或让模型接触新分布来缩小差距。

对做 AI 教育内容生成或题库产品的团队而言，若直接复用现成 Bloom 分类器做质量把关，在 AI 生成题上漏判和误判会增多，人工复核成本上升。研究提示应在评估链中加入分布偏移检测，并为新题型保留重训练或文本增强流程；产品端可先对高价值内容做 LLM 评估加人工抽检，而非全量依赖单一分类器。

• 为 AI 生成题目构建分布外评估流水线，先用 LLM 做 Bloom 层级初筛并记录置信度，对低置信样本转人工复核。
• 将学习目标作为输入特征接入现有 Bloom 分类器，在特定学科或题型上验证是否稳定提升准确率。
• 建立新题型的定期重训练机制，把 AI 生成并人工确认的样本回流为训练数据，减少分布外性能损失。
• 对外提供 Bloom 层级自动标注 API 时，同时输出模型在分布外场景的预期 F1 区间，帮助客户设定人工抽检比例。

• 研究中 0.79 的 LLM Macro F1 具体对应哪个模型、多少参数量以及何种提示方式，证据未说明。
• 文本拼接与追加学习目标在哪些数据集上提升、哪些数据集上无提升，证据只给出笼统结论。
• 重训练带来的最大提升需要多少新增标注样本、成本多高，证据未涉及。
• 该研究的 OOD 数据集规模、学科覆盖和 Bloom 层级分布是否具有代表性，证据未提供。