AI辅导互动中的大语言模型教学行为研究

研究表明学生越来越多地使用LLM作为课程和解题的导师，但对其提供的帮助水平了解有限。研究者开发了一个五级脚手架量表，并应用于203名大学生AI课程中的14637条LLM回应，发现超过95%的回答属于‘解释’或‘解决’级别，即高度直接帮助。脚手架水平与后续对话行为相关，但对考试表现的预测能力有限。

此前缺乏对LLM在真实学习场景中提供帮助程度的实证测量。该研究首次提供了大规模、基于真实对话的量化基线，表明LLM倾向于直接给出答案而非引导思考，这为评估和设计更有效的AI辅导系统提供了重要参照。

LLM基于训练数据模式生成响应，在辅导情境中可能倾向于提供完整解决方案，而非采用苏格拉底式提问或分步引导。研究通过五级量表（从直接给出答案到引导发现）对响应进行分类，并验证了该量表的可靠性。

对AI辅导产品的影响：当前LLM默认行为是高帮助级别，可能不利于学生深度学习和独立思考。产品开发者需要调整提示词或设计后处理步骤，以控制脚手架级别，平衡即时帮助与学习效果。同时，该量表可用于自动化评估辅导质量，指导产品迭代。

• 开发一个基于该五级量表的自动评估工具，用于监控AI辅导响应中的脚手架级别，并实时调整生成策略。
• 设计‘引导式辅导’模式，强制LLM采用提问或部分提示而非直接给出完整答案，并设置用户可选级别。
• 在教育产品中引入‘脚手架级别’用户控制选项，允许教师或学生设定所需的帮助程度。
• 基于该研究框架，为不同学科和难度定制辅导策略，并A/B测试其对学习效果的影响。

• LLM的脚手架级别是否因模型版本或提示策略而显著变化？
• 这种高度直接帮助对学生长期学习效果的影响是否与短期考试表现不同？
• 研究样本仅来自一门大学课程，结论是否适用于其他学科或年龄段？