海报：LLM 蒸馏推断的初步研究

一篇 arXiv 海报论文提出“蒸馏推断”任务：判断某可疑模型是从专有 LLM 蒸馏而来，还是独立训练。作者将其形式化为假设检验，用影子模型估计两种假设下的行为分布：蒸馏影子模型学习教师的推理轨迹，独立影子模型只学参考答案。审计方比较各模型对教师推理输出的预测程度，再用影子模型把可疑模型得分转成校准 p 值。初步实验中以 Qwen2.5-7B 为教师、Llama-3.2-3B 为可疑模型，在显著性水平 0.02 下真阳性率达 1.0。

此前针对未授权蒸馏的讨论多停留在风险与合规层面，缺少可操作的取证方法。该工作把“是否蒸馏”从主观判断转为可量化、带显著性水平的统计检验，并给出可复现的初步实验指标，使模型提供方在怀疑竞品抄袭时有了形式化检测路径，而非仅依赖水印或输出相似度等单一信号。

核心机制是构造两组对照影子模型来刻画两种假设下的预期行为：蒸馏影子模型从教师的推理轨迹中学习，独立影子模型只从参考答案学习。审计方据此衡量可疑模型预测教师推理输出的吻合度，将原始得分映射为校准 p 值，从而在给定显著性水平下接受或拒绝“独立训练”假设。该设计把检测问题转化为可校准的统计推断，而非单一的相似度阈值。

对模型提供方，这意味着在 API 输出、模型权重和竞品评测环节可加入蒸馏取证流程，把合规审查从人工比对转为统计报告。对研发团队，影子模型的训练与推理会带来额外算力与工程开销，需评估是否值得常态化运行；对产品侧，检测结果若进入合同或授权条款，将影响模型分发与商业合作的风控方式。

• 模型 API 供应商可在服务条款中附赠蒸馏检测报告，作为企业客户合规采购的增值项
• 为模型托管平台开发蒸馏取证接口，输入可疑模型输出即可返回校准 p 值
• 围绕推理轨迹而非仅最终答案设计模型授权与水印方案，提高追踪可验证性
• 为法律与合规团队提供检测结果存档工具，支持授权纠纷中的证据留痕

• 该初步研究仅用 Qwen2.5-7B 与 Llama-3.2-3B 一组配置，结论在其他模型规模和架构上是否成立尚不明确
• 检测对仅学习最终答案、或经过混合数据与再训练掩盖的蒸馏方式是否仍然有效
• 真实场景中审计方能获取多少教师推理输出，以及获取受限时检测性能如何变化
• 显著性水平 0.02 下真阳性率 1.0 是否伴随较高的假阳性，证据中未给出假阳性率