面向复杂度的 LLM 代码理解能力评估

一篇 arXiv 论文提出按圈复杂度、嵌套深度、分支因子与 Halstead volume 四个指标评估 LLM 代码理解能力。研究者用 300 个 Python 函数做输入输出预测、60 个函数做人工语义理解测评，并将函数分为低、中、高复杂度三档。DeepSeek-Coder-V2 自动任务总体准确率 78.33%，Llama 为 70.33%；但从低到高复杂度，前者从 93.52% 降至 52.78%，后者从 87.04% 降至 47.22%。

以往评测多报告聚合准确率，容易掩盖模型在结构复杂代码上的可靠性下降。该研究把复杂度作为分层维度，显示高低复杂度之间的准确率落差可达约 40 个百分点，说明单一总分不足以判断模型能否用于真实工程场景。

论文用四种结构度量把函数划入低、中、高复杂度区间，并对比自动输入输出预测与人工语义理解两类任务。结果显示错误预测与四项复杂度指标的高值一致相关，相关性与逻辑回归分析也支持结构复杂度与正确率之间存在负向关联。

直接依赖代码理解的功能，如行为预测、函数解释、调试与代码审查，在复杂代码上的准确率可能明显低于整体评测表现。产品在选型、置信度提示和人工复核策略上需按代码复杂度分层设计，而非只看聚合分数。

• 在代码助手评测中加入按复杂度分层的准确率报表，替代单一总分。
• 对高复杂度函数自动触发人工复核或更强模型升级调用。
• 面向代码审查与调试场景，输出基于复杂度的置信度提示。
• 建立内部复杂度分档测试集，作为模型上线前的回归门槛。

• 除 DeepSeek-Coder-V2 和 Llama 外，结论是否适用于其他模型？
• 300 个自动任务与 60 个手动任务的具体筛选标准未在证据中说明。
• 复杂度与正确率的负相关是否随语言或任务类型变化，尚不明确。