从心智到模型：心理学与LLM行为的交叉研究

一篇arXiv论文用心理学方法（内隐联想测试的提示词改编）测试ChatGPT在种族条件下是否产生情感差异。研究用126个提示词，对GPT-3.5T、GPT-4和GPT-4T各提交一次，共378个响应。双因素方差分析显示种族条件有微弱主效应（p=.042），但秩变换敏感性分析不显著，Tukey校正后无显著配对差异，证据较弱且依赖分析方法。

该研究首次将心理学的内隐联想测试改编为提示词，直接检验LLM在种族维度上的情感偏见，为评估模型公平性提供了新方法。但结果显示证据微弱且不稳健，提示当前LLM在种族情感上可能无明显差异，或检测方法灵敏度不足，对AI伦理评估实践有参考价值。

心理学方法如内隐联想测试可用于探查难以直接观察的LLM内部决策过程。通过设计涉及不同种族条件的开放式提示词，收集LLM生成文本，并用情感评分（正负标签分值）量化响应。方差分析检验种族条件、模型类型及其交互作用对情感得分的影响。由于LLM输出随机，单次提交可能导致噪声，且敏感性分析显示结果不稳健，说明该方法或统计效力有限。

对AI产品团队而言，若需评估模型偏见，此方法可作参考，但需注意其不稳定性。产品中若涉及种族敏感场景，不能仅依赖此类测试，应结合多样本和多分析方法。同时，该研究提示需更稳健的偏见评估工具，否则可能导致误判，影响模型合规与用户信任。

• 开发基于心理学范式的LLM偏见检测工具，提供多种统计分析和样本量建议，帮助产品团队评估模型公平性。
• 在模型评估流程中加入敏感性分析，确保偏见检测结果不依赖于特定统计方法，提升结论可靠性。
• 为涉及政府或医疗场景的LLM应用，提供偏见测试咨询服务，辅助合规审查。
• 构建开放数据集和基准，促进不同模型在种族情感维度上的可重复性比较。

• 研究未提供完整的情感评分细节，其区分评价性偏见与情感效价的能力待确认。
• 单次提交提示词可能引入随机性，研究未说明是否多次采样或报告方差稳定性。
• 模型版本（GPT-3.5T、GPT-4、GPT-4T）的差异不显著，但样本量是否足够检测交互效应未知。
• 研究未讨论种族类别定义的范围和代表性，可能影响结论的推广性。