离线指导、在线推理：为小语言模型复用 LLM 反馈

arXiv 论文提出 Reusable Latent Correction（RLC）方法，面向 LLM 仅可离线访问、SLM 参数固定、在线推理完全由 SLM 执行的受限场景。RLC 将黑盒 LLM 一次性生成的自然语言指导转化为 SLM 隐藏空间中的持久纠正经验，存入外部经验库，并依据 SLM 当前推理状态检索复用，从而在推理时无需在线调用 LLM。

此前知识蒸馏需更新 SLM 参数并重新训练，在线协作则需反复调用 LLM，且针对单个问题的指导在推理后被丢弃，无法惠及相似推理状态。RLC 试图在不改参数、不调用在线 LLM 的前提下复用 LLM 指导，把一次性反馈变成可跨问题检索的持久经验。

该方法把 LLM 给出的自然语言指导编码为 SLM 隐藏空间中的纠正经验，集中存放在外部经验库；推理时根据 SLM 当前推理状态检索对应经验并施加纠正。这样 LLM 只在离线阶段被使用一次，在线阶段完全由 SLM 承担，从而绕开参数更新与重复 API 调用两条成本路径。

若成立，可在本地部署场景中以固定参数的 SLM 获得接近 LLM 的纠错能力，减少对商用 API 的持续调用与训练算力投入；经验库成为可积累、可检索的资产，产品侧可能形成“离线采集反馈、在线检索纠错”的工程流程，但效果仍取决于检索与隐藏空间映射的可靠性。

• 为本地部署的 SLM 产品设计外部经验库，把 LLM 离线反馈转成可检索的纠错条目。
• 在推理链路中加入基于当前推理状态的检索模块，验证无需在线 LLM 调用的纠错效果。
• 面向成本敏感的 API 场景，评估用离线 LLM 批处理替代在线调用的收益空间。

• RLC 在具体推理任务上的准确率与基线相比如何，证据中实验部分被截断。
• 外部经验库的规模、检索延迟与维护成本是否可接受。
• 该方法的结论是否有独立复现或第三方验证。
• 对模型、任务类型和提示格式的依赖程度尚不明确。