SafeLLM4SE：面向 LLM 软件工程系统的统计评估与报告方法

该论文提出 SafeLLM4SE，一套针对基于 LLM 的软件工程系统的统计评估方法与报告标准。它不再把模型输出视为确定性产物，而视为随机过程的实现，区分质量、稳定性与估计不确定性，结合自适应采样、置信区间、分布感知统计比较与效应量，并给出覆盖模型配置、可复现性、评估流程与资源使用的最低报告标准。该方法已开源发布于 PyPI，并以 HumanEval 对比两个 LLM 作为示例。

此前评估 LLM 软件工程能力常只报告单次输出、平均分、best-of-N 或 pass@k，容易掩盖输出波动与估计不确定性，得出关于可靠性的误导性结论。该工作把评估从单点打分转向对随机过程的可复现统计报告，为横向比较不同模型提供更明确的标准。

LLM 输出具有随机性，单次或最优采样结果无法反映分布形态，也无法区分模型质量差与采样噪声。SafeLLM4SE 用自适应采样估计分布，用置信区间表达估计不确定性，用分布感知比较与效应量判断差异是否实质，并通过最低报告标准约束配置、流程与资源的披露，使结论可复现。

对研发与评测团队而言，模型选型、回归测试和上线决策不能只依赖单次跑分，需要在评估流程中固定采样次数、随机种子与统计口径，并报告置信区间与效应量。这会影响内部评测工具、CI 流程和对外基准声明的设计，增加评估环节的资源与时间成本。

• 在内部模型评测平台接入 SafeLLM4SE 的 PyPI 包，把单次跑分升级为带置信区间的统计报告。
• 为模型选型或版本回归建立最低报告模板，固定记录模型配置、采样参数、评估流程与资源消耗。
• 在对外发布的基准成绩中补充效应量与不确定性区间，减少被质疑评估不可复现的风险。
• 面向 LLM 应用团队提供评估审计服务，检查其结论是否区分质量、稳定性与估计不确定性。

• SafeLLM4SE 在 HumanEval 之外的任务类型上是否同样适用，证据未说明。
• 该方法对评估成本与耗时的影响幅度，摘要未给出量化数据。
• 现有 LLM 评测榜单或工具链是否会采纳其最低报告标准，尚不确定。
• 开源包在 PyPI 上的维护与版本更新情况，证据未提供。