面向光网络自动化的基于人工评估的大语言模型评价方法

研究者提出HuGLEN评估流程，利用LLM作为评判员并结合少量专家评分，对候选LLM进行可扩展比较，通过质量效率分数（QES）排序。在光网络传输质量估计任务中，使用12B参数的LLM在解释质量与效率之间取得最佳平衡。

此前评估LLM用于网络自动化需大量人工标注，成本高且难以复现。HuGLEN仅需少量专家评分即可实现可扩展的模型排名，并证明中等规模LLM（12B参数）在质量与效率上优于更大模型，为运营商选择经济高效的自动化方案提供了新依据。

HuGLEN采用LLM-as-a-judge替代部分人工评价，同时用少量专家打分校准，计算反映质量与推理成本平衡的QES。结果显示参数最大的模型不一定最优，12B模型在说明解释性和推理效率上达到最佳折中。

产品团队可借鉴HuGLEN流程快速筛选适合网络自动化任务的LLM，降低人工评估成本；优先采用12B参数级别的LLM（如开源模型）构建运营商面向的自动化解释模块，平衡质量与托管成本。

• 开发基于12B参数LLM的光网络故障解释工具，直接对接运营商的XAI输出，生成自然语言说明
• 将HuGLEN评估流程封装为自动化选型服务，帮助其他领域（如电信运维）快速匹配合适的LLM

• HuGLEN在其他网络任务（如路由优化、安全告警）上的泛化能力如何？
• 论文中专家评分标准的具体设计细节是否公开？
• 实际部署中12B参数模型的推理延迟和硬件成本是否满足运营商实时性要求？
• 不同LLM家族（如Llama、Qwen）的表现差异是否显著，是否会影响QES排名？