信号还是虚假线索？LLM社会推断中调查国家元数据的随机审计

一项针对五种固定API模型、六个国家和七个目标的随机审计测试了调查国家元数据对LLM社会推断的影响。结果显示，当元数据有信息时能改进预测，但随机分配时可能误导。在72记录面板中，透明和披露随机标签均产生0.214的国家方向偏移，衰减效应不显著，验证国家信息降低了Brier损失0.040，随机标签的遗憾包含零。数据集PROV-FORECAST包含14400个配对概率分布。

该研究表明LLM可能依赖不可靠的元数据线索（如调查国家）进行推断，即使这些线索是随机的，也会影响预测结果。这挑战了元数据增强LLM能力的假设，提示在应用LLM进行社会推断时需谨慎处理元数据，并考虑披露机制的有效性。

LLM在预测个体响应时，会整合元数据线索。当元数据有意义时，提供额外信息，提升预测准确性；但当元数据随机时，模型可能过度拟合，导致预测偏移。披露随机来源的信息旨在降低模型对随机线索的依赖，但实验显示披露并未有效衰减这种偏移，可能因为模型仍将国家标签视为相关特征。

对于依赖LLM进行用户行为预测或市场调研的产品，需要评估并管理元数据带来的偏差。确保元数据的准确性和相关性，或设计披露机制以降低误导。这可能导致在数据处理流程中加入元数据验证步骤，或调整模型训练策略，以平衡元数据的利用和风险。

• 为LLM推断功能增加元数据可信度校准，对用户输入的元数据进行来源验证，减少随机标签的影响。
• 开发用户界面，在显示LLM预测时透明披露元数据来源，并允许用户查看其一致性。
• 构建元数据敏感性测试工具，帮助产品团队评估不同元数据对预测的稳定性。

• 披露机制在更广泛模型或非固定API模型上是否有效？
• 验证过的元数据在哪些具体场景下能显著提升预测？
• 随机元数据导致的偏移是否随模型规模或训练数据变化？
• 如何在实际产品中识别并过滤随机或无关的元数据？