置信度来自经验：从推理到智能体的经验式置信度估计

该论文提出 XConf（eXperiential Confidence），认为仅凭当前推理过程不足以估计置信度，主张结合模型自身历史经验来估计。经验以过去任务、反思、自报置信度、结果和事后教训的形式存储；新任务先经 Recall 检索相似任务与相似置信度的历史片段并读取成功率，再由 Reflect 让模型指出复现的失败模式并重新给出置信度。在九个基准、四个模型、三个模型家族的 24 项比较中，23 项在 AUROC 上超过或持平十次采样自一致性，校准误差更低，生成成本仅为十分之一。

此前的置信度估计器都只读取当前推理过程，通过内省、token 概率打分或重采样来判断输出是否正确。XConf 把判断依据扩展到模型自身积累的历史成败记录，且无需 logit 访问或权重更新，只增加一次答案生成，这改变了校准成本与可用性的权衡。

机制是记忆与检索：模型把每个任务及其反思、自报置信度、最终结果和事后教训存为结构化经验；面对新任务时，先按任务相似度和当时自报置信度检索历史片段，用这些片段的历史成功率作为先验，再让模型识别反复出现的失败模式并据此修正置信度。因为依据来自已验证结果，而非当前采样分布，所以校准更贴近真实正确率。

对需要决定是否发布、升级或重试的产品流程，这意味着可以用一次生成的成本获得比多次采样更可靠的置信度信号，显著降低推理开销；对研发而言，无需权重更新和 logit 访问，便于在闭源或多模态模型上接入。经验库的积累与检索质量成为新的工程重点，失败模式记录也可直接用于排查与迭代。

• 为需要人工复核或自动升级的 AI 工作流接入 XConf 式置信度，用一次生成替代多次采样，降低推理成本。
• 构建按任务与自报置信度索引的经验库，把结果、反思和教训结构化存储，作为可复用的置信度先验。
• 在智能体产品中用历史成功率触发重试或转人工策略，并持续回填结果以更新经验记录。
• 面向编码、多模态问答等场景做小规模 A/B，验证 XConf 相比自一致性在延迟与准确率上的实际收益。

• XConf 在证据中只给出摘要式结果，缺少各基准的绝对数值与统计显著性细节。
• 经验库长期积累后的检索开销、存储规模和过期经验处理方式尚未说明。
• 自报置信度与事后教训由模型生成，其偏差是否会污染经验库并形成反馈回路尚不明确。
• 除选择性预测外的其他下游用法（如路由、重试）在证据中被截断，实际效果待确认。