PyroDash：成本高效的词元级小-大语言模型协作推理

PyroDash是一个成本感知的词元级小-大语言模型协作推理框架。它让小型语言模型在生成过程中通过发射控制令牌决定是否请求大型语言模型协助，由协作引擎进行单次切换。三阶段训练将决策内化于SLM，无需独立路由器或访问LLM对数概率。在五个数学推理基准上，以λ=0.05时平均准确率64.04%，比纯LLM高6.36个百分点，同时成本降低20.4%；以λ=0.6时准确率54.55%，LLM令牌比率仅1.90%，总成本从49.36美元降至1.78美元。

此前SLM-LLM协作通常需要单独的路由器、门控模型或访问LLM内部状态，PyroDash通过将决策权内化于SLM并采用单次切换，简化了部署，同时实现了可调节的成本-准确率平衡，在减少对昂贵LLM依赖的同时保持甚至提升推理性能。

PyroDash训练过程分三阶段：控制令牌嵌入学习使SLM掌握何时请求协助；基于卸载意图的监督微调优化切换时机；使用分组相对策略优化的成本感知对齐，奖励函数平衡答案准确性与相比纯LLM推理的归一化成本。推理时SLM自主发射控制令牌，若需协助则暂停自身生成，将查询和部分推理轨迹发送给冻结的LLM完成一次切换。

产品可大幅降低LLM API调用成本或自部署GPU成本，尤其适用于需要强推理能力但预算敏感的场景（如教育、客服、代码辅助）。PyroDash提供了可调节的准确率-成本曲线，使产品团队能根据业务需求选择不同操作点，而不必牺牲质量换取成本节省。

• 在数学辅导或编程助手产品中集成PyroDash，对简单问题使用SLM快速响应，复杂问题才调用LLM，降低整体API费用。
• 基于其成本感知对齐机制，为不同客户或不同难度级别定制准确率-成本策略，实现精细化定价。
• 将PyroDash的训练流程产品化为服务，帮助其他团队为特定领域SLM-LLM协作微调，无需自己设计路由逻辑。

• PyroDash在非数学推理领域（如文本生成、问答）上效果是否一致？
• 控制令牌机制会增加多少推理延迟？在流式生成场景中是否可行？
• 该框架是否需要针对每个SLM-LLM对重新训练，还是可以迁移？
• 训练三阶段的额外计算成本与节省的推理成本相比是否划算？