Laplace-PSN-IRT：为LLM基准测试的神经IRT模型增加不确定性量化

作者提出Laplace-PSN-IRT方法，对已训练的神经IRT模型PSN-IRT施加最后一层拉普拉斯近似，从而获得模型能力和题目难度的校准后验不确定性区间。实验表明，标准LLM基准排行榜上12个模型中多数成对比较在统计上不可区分，点估计Fisher信息可能接近零，而后验期望Fisher信息更稳定且能从小子集更准确恢复完整排名。

此前PSN-IRT只能输出点估计，无法区分模型间的真实差异；Laplace-PSN-IRT首次在神经IRT框架中提供校准的不确定性度量，使开发者能基于统计显著性判断排名变化是否可靠，避免被点估计排序误导。

在已训练的PSN-IRT模型上执行后验拉普拉斯近似（最后一层），将点估计转换为近似贝叶斯后验分布，从而恢复模型能力和题目难度的置信区间，并计算后验期望Fisher信息，支持概率性比较和自适应题目选择。

可直接应用到现有PSN-IRT评估系统而无须重新训练，产生带置信区间的能力评估；后验期望Fisher信息有助于从基准中高效选择信息量最大的题目子集，降低评估成本；模型对比的统计检验可辅助发布决策。

• 集成到LLM评估平台，输出模型能力的置信区间和统计显著性比较结果
• 基于后验期望Fisher信息设计自适应基准题目子集选择算法，减少评估所需题目数量
• 为模型排行榜添加不确定性指示，帮助用户区分真实能力差异与噪声
• 将Laplace-PSN-IRT作为插件应用于现有PSN-IRT系统，实现零成本升级

• Laplace近似在非凸或高度复杂后验下的覆盖精度如何？
• 该方法能否扩展到其他形式的IRT模型（如多参数模型）？
• 后验覆盖率的校准性在不同规模基准和模型家族上是否保持一致？
• 计算开销（存储Hessian矩阵）对大规模基准的实时部署影响如何？