可重复性不等于构念效度：LLM 测量制度情境化沟通

一项基于 European Commission AI Act 公开咨询数据的研究发现，LLM 对咨询文本的标注可重复性极高（组内相关系数>0.99），但与同一批利益相关者的结构化问卷结果收敛度有限。分歧在不同群体间系统性变化：企业协会在文本中表达的 AI 风险担忧高于问卷（g=+1.0），公共机构与部分非商业群体则更小或为负；分歧还呈现欧洲国家间的空间正自相关（Moran's I=0.347，p=0.036）。

此前实践常把高标注一致性当作测量可用的证据，该研究用同一批利益相关者的问卷与文本配对数据说明：可重复性与构念效度可以同时存在且彼此背离，且分歧随群体和国别系统变化，意味着仅报告一致性分数不足以支持基于 LLM 的测量结论。

LLM 标注是对文本表层模式的稳定映射，因此容易获得高一致性；但问卷与咨询文本属于不同沟通情境，受制度角色、表达激励与公开立场影响，同一构念在两种渠道中的显现方式不同，导致文本推断分数与问卷分数系统性偏离，并在邻国间呈现相似性。

对使用 LLM 做舆情、合规或用户研究测量的团队，需在一致性检验之外加入与独立测量源的收敛效度检验，并按用户群体、地区分层核查偏差；否则基于文本分数做出的风险排序或决策可能系统性失真，验证成本与标注流程设计需相应调整。

• 在 LLM 标注流水线中加入构念效度校验环节：针对同一构念保留问卷、访谈等独立测量源，定期计算与文本分数的收敛度。
• 面向合规与政策研究产品提供分层分歧报告，按利益相关者类型与国家展示文本与问卷测量差异，而非只给单一分数。
• 开发测量审计工具，同时输出可重复性指标、构念收敛指标与情境差异指标，作为模型上线的放行条件。

• 该结论在其他语种、其他政策咨询场景或其他 LLM 上是否同样成立，尚未被证据确认。
• 分歧的空间自相关是否由真实立场差异、语言邻近性还是样本构成造成，论文未给出定论。
• 如何设定可操作的构念效度阈值以决定 LLM 测量能否用于实际决策，证据中未提供标准。
• 问卷与文本测量哪一个更接近真实立场，证据未做裁定。