调查文本分析中的LLM：人类与GPT-5在归纳式内容分析中的性能比较

一项研究比较了人类编码员与GPT-5.4在归纳式内容分析中的表现，使用903份欧洲博士调查的开放式回答。结果显示，人类与LLM在编码和主题生成上的调整兰德指数分别为0.61和0.54，接近人类内部一致性（0.68）和LLM内部一致性（0.76），表明LLM可近似人类编码，可作为可扩展的支持工具。

此前关于LLM在定性研究中的应用证据有限，尤其缺乏归纳式编码的系统比较。该研究提供了量化证据，表明LLM在特定情境下可接近人类编码一致性，为将LLM作为可扩展工具引入定性文本分析提供了依据。

研究使用标准化的编码方案和提示程序，让GPT-5.4执行与人类相同的归纳编码任务，并通过调整兰德指数衡量一致性。该指数衡量聚类相似性，值越高表示一致性越强。结果显示LLM内部一致性甚至略高于人类，且低一致性变量在实体间和实体内表现一致，说明数据特性和个体表现影响可靠性。

对产品研发而言，该研究支持将LLM集成到调查分析工具中，用于辅助或加速编码流程，减少人工成本。但需注意LLM在主题生成层面的一致性略低，可能影响深度分析。实际部署时需结合人类审查，并优化提示程序以提升主题生成质量。

• 开发基于GPT-5的辅助编码工具，提供初步编码建议，供人类编码员审校，以提升效率。
• 在调查分析平台中嵌入LLM主题生成功能，辅助聚类和标签生成，减少人工整理时间。
• 提供人机一致性可视化报告，按变量显示ARI值，帮助用户识别低可靠性数据并优化编码方案。
• 针对低一致性变量设计迭代提示策略，例如结合人类反馈微调提示，以提升跨变量稳定性。

• 该研究基于欧洲博士调查，结果是否适用于其他人群和语言？
• GPT-5.4的具体提示程序未公开，不同提示是否导致结果差异？
• 低一致性变量是否由数据模糊性导致，还是LLM能力不足？
• LLM在归纳式编码中的错误类型和潜在偏误尚未详细分析。