面向黑盒大语言模型分类推理的层级感知监督不确定性估计

该论文研究了黑盒大语言模型在长尾生物多样性监测中层级分类推理的不确定性估计。利用开源工具LLM提取代理特征，训练层级感知的监督估计器预测各层级正确性。在三个工具LLM上，该方法将微AUROC从0.57提升至0.75-0.80，优于令牌似然基线，最佳设计为层级特异性多头结构（H3）。代码已公开。

以往黑盒LLM的不确定性估计多依赖令牌似然或采样不确定性，缺乏对层级分类结构建模。该研究提出的层级感知监督估计器，在长尾生物多样性等科学决策场景中显著提升置信度估计的判别力和选择性预测能力，为黑盒LLM在关键领域提供更可靠的不确定性信号。

该方法利用开源工具LLM提取代理特征，训练轻量级监督估计器预测层级中每个分类级别的正确性。通过层级感知的监督信号和层级特异性多头设计，估计器学习不同层级错误模式的差异，从而在统一拒绝阈值下优化选择性预测，相比令牌似然基线更有效地捕捉不确定性。

对依赖黑盒LLM进行科学决策支持的产品（如生物多样性监测、辅助分类工具），该方法可提供更准确的置信度信号，帮助系统在低置信时拒绝输出或转人工，降低错误决策风险。实施成本包括训练轻量级估计器，但可复用于不同的工具LLM，代码开源可加速集成。

• 在生物多样性监测或类似长尾分类产品中，集成层级感知估计器，实现动态置信度阈值和自动拒识机制。
• 基于开源代码，开发针对金融、医疗等层级分类场景的置信度评估中间件或API服务。
• 为使用黑盒LLM的SaaS产品增加不确定性报告功能，提升用户对输出可靠性的信任度。

• 该方法在非生物多样性领域的层级分类任务上是否同样有效？
• 在不同规模的黑盒LLM（如GPT-4、Claude）上，估计器的性能增益是否稳定？
• 层级感知估计器对分类层级深度的敏感性如何，极深层级下性能如何？
• 标注数据的质量和数量对估计器训练的影响尚不明确。