Pinocchio：面向黑盒语言模型的快速不确定性估计

研究人员发布 Pinocchio，一种面向黑盒 API 模型的外部校准器，用于估计模型回答是否正确。它无需目标模型的 logits、权重或内部状态，也不依赖微调权限；在七个 LLM 的回答上联合训练后，对同批留出回答达到 0.862 AUROC，并零样本迁移到八个机构的十三个未见模型。0.8B 纯文本检查点即可匹配最大模型的 AUROC，且据称只需两行代码即可接入现有仓库。

此前 LLM 不确定性估计通常依赖模型输出的 log-probabilities 或微调权限，而许多闭源 API 产品如 GPT 不返回 log-probabilities，也可能不允许微调，导致这类方法难以落地。Pinocchio 把估计能力外置为独立校准器，使无法接触模型内部的团队也能对回答正确性做评估。

该方法训练一个独立的外部校准器，输入仅为模型生成的文本等可见信息，通过单次前向传播输出不确定性估计。由于不读取目标模型 logits、权重或内部状态，它把对模型内部的依赖转为对回答模式的判别；联合多模型数据训练则可能让校准器学到跨模型的通用错误信号，从而支持对未见模型的零样本迁移。

对于基于闭源 API 构建产品的团队，可在不获取 log-probabilities、不进行微调的前提下增加回答正确性评估，用于高风险场景的人工复核分流或自动降级策略。单次前向传播和 0.8B 轻量检查点意味着较低推理开销，两行代码接入也降低了现有仓库的集成成本。

• 在客服、医疗、金融等高风险问答流程中接入 Pinocchio，对低置信回答触发人工复核或追问。
• 将不确定性估计作为 API 网关的通用中间层，对多家闭源模型统一输出置信度标签。
• 用 0.8B 轻量检查点做本地部署，为不返回 log-probabilities 的第三方模型提供低成本评估。
• 在模型选型或 A/B 测试中，用该校准器比较不同厂商模型在相同任务上的回答正确率。

• 0.862 AUROC 的评测任务、数据集与正确性标注方式尚未在证据中说明。
• 零样本迁移到十三个未见模型的具体组织、模型类型与性能下降幅度未给出。
• 单次前向传播的延迟、吞吐和显存开销没有具体数值。
• 两行代码接入的具体依赖方式、支持的语言与框架范围未被说明。