测评工具对人类和LLM衡量的是同一构念吗？潜在结构分析

一项研究比较了六种多模态LLM与人类在高中化学和大学入学考试定量推理两个教育测评上的回答，通过探索性因子分析和因子一致性检验，发现人类与LLM的潜在结构存在系统性差异，表明这些测评对两者衡量的构念可能不同。

此前许多机构直接用人类标准化考试评估LLM能力并推断其通用能力，这项研究从结构效度角度提供了反面证据，提示这类评估实践的结论可能不成立，对AI能力评价方法的可靠性提出了挑战。

效度推论要求观测表现与潜在构念的关系在人类和LLM中一致。研究者比较两者在测评上的响应数据，通过因子结构相似性检验此条件。结果显示差异，意味着LLM的高分可能不反映与人类相同的能力。

对依赖标准化考试分数宣称模型能力的产品或评测平台，其评估框架可能需调整；对使用此类测评的AI教育产品或招聘工具，需重新审视结果的有效性，并开发针对LLM的测评体系。

• 开发专门针对LLM能力评估的测试套件，替代人类教育测评。
• 在AI教育产品中，结合任务表现与潜在构念分析，提供多维度能力报告。
• 为评测机构提供因子结构审计服务，验证现有测评对LLM的适用性。
• 在模型迭代中，增加因子一致性检查，作为内部质量标准。

• 研究未明确哪些具体因素导致因子结构差异，是否存在模型或任务类型差异。
• 研究仅限于两个教育领域，其他能力测评是否同样存在差异尚待验证。
• 研究未说明六种模型的具体表现，不同LLM间的因子结构差异是否一致未知。
• 未提供方法细节，如样本量、模型版本和因子分析具体参数。