CritICL：利用小语言模型失败模式实现推理时弱到强泛化

arXiv 发布论文提出 CritICL 框架，利用同族小模型的失败模式作为推理时的指导信号，通过基于批判的上下文示例提升大模型推理性能。框架包括动态与静态两种变体，实验显示其性能优于标准上下文学习，与测试时扩展方法相当或更优，且所需生成次数和令牌成本更低。

此前推理时扩展依赖重复生成或外部验证，成本高。CritICL 提出将小模型失败模式转化为指导信号，在不增加外部组件的情况下提升性能，为低成本推理优化提供了新思路，可能改变现有推理时扩展的技术路线。

同族不同规模模型的失败模式具有结构化规律，弱模型识别出的失败点可用于强模型推理时修正。CritICL 动态变体预测输入特定失败模式并检索批判示例，静态变体使用全局失败模式档案，从而提供稳定引导，减少无效生成。

该框架可降低推理时的计算成本和延迟，同时保持或提升性能，适用于对成本敏感或需要高并发响应的产品。产品团队可将其集成到现有推理流程，通过引入上下文批判示例优化输出质量，但需调整提示工程和推理策略。

• 集成 CritICL 到 API 服务，提供低成本推理模式选项，吸引成本敏感客户。
• 开发基于 CritICL 的自动调试工具，利用失败模式日志生成改进提示。
• 针对特定垂直领域（如代码生成）定制 CritICL 变体，提升领域推理准确性。
• 将静态 CritICL 用于批量处理场景，降低整体推理成本。

• CritICL 对模型家族的具体要求是什么？跨家族泛化效果未在证据中说明。
• 动态变体的失败模式预测本身的计算开销是否计入总成本？
• 实验对比的测试时扩展方法具体包括哪些？其基线设置是否公平？
• 该框架在真实产品环境中的效果是否与论文一致？未见独立验证。