学习参与助手(LEA)：跨课程可扩展性与课堂评估

LEA（学习参与助手）是一个结合课程特定检索增强生成（RAG）与知识组件模型的AI辅导系统，此前只在单门STEM课程中通过模拟验证。本研究首次在真实课堂（n=8）部署LEA，并跨三个不同课程测试其可扩展性。结果发现实际表现与模拟预测存在分歧，跨课程评估中答案相关性和上下文精度稳定（0.88-0.94、0.88-0.90），但忠实度随课程距离从0.69降至0.50，可能反映生成逻辑针对原课程而非可扩展性限制。编排层无需修改，但下游组件完全课程无关性需进一步研究。

此前LEA仅在单课程模拟中验证，本项研究首次将其部署到真实课堂并测试跨课程能力，揭示了模拟无法预见的实际表现差异，特别是忠实度随课程距离下降的问题，表明合成评估不足以完全指导真实部署。

系统在跨课程评估中，答案相关性和上下文精度保持稳定，表明检索和上下文匹配机制具有泛化性；但忠实度下降可能由于生成逻辑针对原课程主题训练，当课程内容偏离时，生成输出与事实的一致性降低，且模拟环境无法预判这种偏差。

编排层无需修改即可支持新课程，但下游生成组件需要根据课程内容调整（如重新训练或微调）。开发者在跨课程扩展时需额外关注忠实度指标，并增加真实用户测试环节以补充模拟评估。

• 开发课程距离检测工具，自动评估新课程与原始课程的内容差异并提示生成风险
• 引入用户反馈机制，在跨课程部署初期收集学生对答案忠实度的标注以快速校准
• 设计动态生成适配模块，根据课程上下文自动调整检索策略和输出约束

• 忠实度下降是否可通过调整RAG参数或增加课程特定检索库来解决？
• 课程距离如何量化？当前证据仅以“课程领域和学术水平”定性描述
• 在更大规模（n>100）和更多学科部署时，跨课程表现模式是否一致？
• 模拟与真实部署的差异具体由哪些因素导致（如真实学生互动噪声、教师干预）？