大语言模型决策中的代理依赖与预测证据校准不良

arXiv 一篇论文研究了四个大型语言模型在临床排序任务中对代理特征的依赖，发现模型对无信息代理过度依赖，对信息性代理的依赖程度不一，且社会标签会抑制依赖但易被上下文示例恢复。基于准确性的评估无法检测这些问题。

此前审计主要关注决策是否随人口统计特征变化，但该研究指出，与受保护群体相关的属性可能包含合法预测价值，因此决策改变可能是歧视也可能是合理推断。该研究提出了一种更精细的因果代理效应测量方法，并发现现有基于准确性的评估无法识别校准问题，这对合规审计和模型评估方法有直接挑战。

模型在决策中对代理特征的依赖程度应与证据信息量相符，但研究显示模型依赖程度严重低于证据支持的水平，且社会标签（如种族、性别）会抑制这种依赖，但通过上下文示例可轻易恢复，说明这种抑制是脆弱的。这意味着模型的决策过程缺乏稳健的校准机制，易受提示工程影响。

对于使用 LLM 进行信贷、分诊等风险决策的产品，需要将代理特征审计纳入评估流程，并采用因果代理效应测量而非简单的准确性指标。研发团队应关注上下文示例对模型依赖的影响，避免通过提示工程引入偏见。产品质量和合规风险需重新评估。

• 开发基于因果代理效应测量的 LLM 审计工具，检测模型对无信息代理的过度依赖。
• 在模型训练或推理时引入校准机制，使代理依赖程度与证据信息量匹配。
• 设计更稳健的社会标签抑制方法，避免上下文示例轻易恢复偏见。
• 为企业提供合规评估服务，针对高风险决策场景进行专项审计。

• 该研究结论是否适用于其他任务类型（如信用评分）和更多模型？
• 社会标签抑制的脆弱性是否在不同提示格式下均存在？
• 现有模型是否已有内置校准机制，还需外部干预？
• 因果代理效应测量在实际部署中的计算成本和可扩展性如何？