自适应自一致性：从黑盒采样到分布值反馈

该论文指出，传统自一致性方法将 LLM 视为黑盒，每条推理轨迹只返回一个最终答案；但实际上答案是从模型 log-probabilities 可得的 softmax 分布中采样而来，作者称之为灰盒设定。论文将高效推理建模为带分布值观测的序贯众数识别，并提出 ASC-D 算法，一种 betting stopping rule，达到该设定下的渐近停止速率。在 MMLU-Redux 上，ASC-D 比仅用答案的自适应自一致性基线少用 46.4%–95.6% 的轨迹，并在三个开源模型上取得最高固定预算正确认证率。

此前自适应自一致性只利用每条轨迹的最终答案来决定是否继续采样，忽略了模型内部可得的答案分布信息。该工作把每条轨迹的分布值作为观测，改变了停止判断所依赖的信息类型，理论上证明其渐近停止速率不差于黑盒设定，并在实验中大幅减少采样轨迹数量。

每条推理轨迹除最终答案外，还暴露一个由 log-probabilities 得到的 softmax 答案分布。ASC-D 将推理过程视为序贯众数识别：逐条采样轨迹，一旦在预设置信水平下识别出 LLM 的众数答案就停止。作者刻画了分布值观测下众数识别的渐近停止速率，并设计 betting stopping rule 达到该速率，因此能用更少轨迹完成正确认证。

对使用自一致性进行推理的产品和研发流程，这意味着在保持正确认证率的前提下可显著减少 LLM 调用次数。产品侧可把 log-probabilities 纳入推理控制逻辑，降低多轨迹采样的 token 成本与延迟；研发侧需要支持返回答案分布而非仅返回最终答案的接口，并重新设计停止策略与置信度评估模块。

• 在推理服务中暴露每条轨迹的答案分布或 log-probabilities，供上层自适应停止策略使用。
• 将 ASC-D 的 betting stopping rule 实现为可配置的推理控制器，按目标置信水平动态决定采样轨迹数。
• 在模型评测或生产监控中，用固定预算正确认证率替代单纯准确率，衡量采样效率。
• 针对开源模型部署场景，基于 MMLU-Redux 类基准验证 ASC-D 的轨迹节省效果后再推广。

• ASC-D 在 MMLU-Redux 之外的其他任务和领域上的泛化效果尚未由证据确认。
• 该方法对 log-probabilities 质量或校准误差的敏感性未被证据说明。
• 三个开源模型的具体名称、规模和推理配置未在证据中给出。
• betting stopping rule 的实现复杂度与工程集成成本未被证据量化。