LLM行为观察可能是推理后端的副作用

一项交叉研究考察了不同推理框架（HuggingFace、vLLM、Ollama等）对LLM基准分数的影响。结果显示，后端框架是一个不可忽视的因素，即使在贪婪解码下也能显著改变模型性能，且影响具有结构性和模型依赖性。约39%的分数变异性可归因于后端，超过事实基准上的差异更为明显。研究建议公开后端及其版本和生成配置。

此前基准分数被视为模型固有属性，推理框架被忽略。该研究首次系统证明后端可显著影响结果，意味着业界对模型比较的可靠性需重新审视，报告分数时若未披露后端，可能造成误导。

推理框架通过不同的实现细节（如内核优化、数值精度、采样器实现、默认参数）影响模型输出。即使解码模式相同，后端差异仍可导致输出变化，且影响因模型而异，说明后端并非中性工具，而是结果变异的来源之一。

产品团队在选择推理框架时需考虑其对输出一致性的影响，跨框架切换可能改变模型行为，影响用户感知。基准测试和模型评估需标准化后端及配置，否则内部对比或外部宣传可能失真，增加质量风险。

• 开发内部基准测试工具，自动固定后端版本和生成参数，确保评测可复现。
• 在模型卡或API文档中强制披露后端及版本，提升透明度，增强用户信任。
• 针对不同后端输出差异提供对比报告，辅助客户选择部署架构。
• 优化后端配置以减少采样噪声和默认参数差异，提高输出稳定性。

• 该研究中的具体模型和框架版本是否代表当前主流？
• 后端差异是否在更长生成序列或更复杂任务中同样显著？
• 是否已有厂商或社区着手制定披露标准？
• 后端对社交偏见基准的影响为何较小？