EduClaw-Bench：用于教学 LLM 代理的长期基准，含模拟学习者

EduClaw-Bench 是一个新的基准测试，将 LLM 驱动的 AI 导师置于与模拟学习者的持续 30 天关系中，该模拟学习者基于知识追踪（KT）模型，其知识掌握度由真实学生数据训练而成。基准涵盖 55 个场景，从学习增益、响应性和有帮助性及课程设计轴（Gagné 和 Roshine）评分。评估了 10 个代理适配器和三个基础模型层，发现辅导质量由基础模型和代理框架共同决定，且几乎没有组合能在整个时间范围内维持良好辅导。校准检查（ECE=0.049）和课堂现场研究验证了模拟器的真实性。

此前教育 LLM 评估多为单任务或单轮，缺乏对长期辅导关系的度量。EduClaw-Bench 首次将评估扩展到 30 天，模拟真实学习过程，揭示单轮评估无法发现的性能衰减问题，为 AI 导师的可靠性和长期应用提供新标准。

通过知识追踪模型模拟学习者的知识状态变化，使代理需要根据学习者的长期进步调整教学策略。利用三个 LLM 法官跨族评审有帮助性和课程设计，结合基座模型与代理框架的交互，反映出长期辅导质量是组合效应，单一因素无法决定。校准检查和现场研究验证了模拟器与现实的一致性。

教育产品开发者需重新评估 AI 导师的长期性能，而非仅关注单轮效果。该基准可成为产品研发中的测试工具，用于筛选基座模型和代理架构，以提升持续辅导能力。可能增加研发成本，但有助于减少长期使用中的用户流失。

• 基于 EduClaw-Bench 构建内部测试集，在开发教育 AI 产品时持续监控长期辅导质量。
• 将模拟学习者整合到产品迭代流程中，在发布前预评估不同基座模型和代理配置的 30 天性能。
• 探索基座模型与代理框架的优化组合，以提升长期学习增益和用户体验。
• 利用基准中的课程设计轴（Gagné 和 Roshine）指导产品中的课程内容架构。

• 基准中的模拟学习者是否能准确反映所有年龄或学科的实际学习者行为？
• 跨族 LLM 法官的评分是否与人类专家评估高度一致？
• 基准所测的 30 天周期是否足以代表更长（如数月）的辅导关系？
• 基座模型与代理框架的哪些具体组合会导致性能衰减？