面向孟加拉国法律场景的高效 LLM 蒸馏：可运行于智能手机的检索增强生成模型

该论文针对孟加拉国法律信息难以获取的问题，用两阶段渐进式知识蒸馏把 90 亿参数的 Gemma-2 教师模型压缩为 20 亿参数学生模型。第一阶段在 9,429 条法律问答上做监督微调，第二阶段通过 QLoRA 对齐教师 top-50 logits。系统用稠密检索与 BM25 混合检索 36,029 条法条，50 条英文基准上 ROUGE-L 达 0.4715，适配器量化后 1.6 GB，在 Pixel 6 离线运行。

此前法律语言模型多面向通用法律英语，而孟加拉国法条仅有英文且律师集中于城市，云端 AI 在移动网络不稳时不可用。该工作把模型压到手机可离线运行，并在检索增强的未蒸馏基线上取得明显指标提升，说明小模型加检索在低资源法律场景中具备可行性。

机制是先用高质量法律问答对做监督微调，让学生模型学到领域表达，再以稀疏 KL 散度对其教师每 token top-50 logits 做蒸馏，配合 4-bit NF4 与 rank-32 LoRA 降低显存与体积。推理时把稠密语义检索（60%）与 BM25（40%）的结果作为上下文，使回答被法条约束，从而降低幻觉法律文本的风险。

对面向法律、政务等垂直场景的产品团队，这意味着可在中低端手机或离线环境部署领域问答，降低云推理成本与网络依赖。研发上需要建立质量门控的领域问答数据、混合检索索引与量化适配器流水线。用户体验上响应速度约每秒 4–8 token，适合短问答而非长文生成。

• 面向网络不稳地区的法律或政务助手，采用手机端量化模型加本地检索索引，按条法条给出可溯源引用。
• 把质量门控、两阶段蒸馏与混合检索流程封装为垂直领域小模型工具链，服务其他低资源语种场景。
• 在合同、合规等文本量大且需引用的场景，用 BM25 与语义检索混合方案替代纯向量库以提升召回可解释性。

• 跨语言评估的具体结果未在证据中给出，非英语查询表现尚不明确。
• ROUGE-L 与 BERTScore 的提升能否转化为真实法律咨询中的可用性与低幻觉率，缺少人工评估证据。
• 系统明确不覆盖判例与案例推理，遇到此类查询时的行为与拒答策略未说明。
• 1.6 GB 模型在更多机型与真实弱网条件下的延迟和耗电表现仍待验证。