从内部结构看 LLM：小世界连接性作为推理能力的标志

该 arXiv 论文提出用小世界连接性刻画 LLM 的推理能力。研究者基于 attention head 激活相似度构建功能图，发现小世界指数（SWI）越高，模型在多种模型与训练检查点上的流体推理表现越好。进一步观察到推理相关重要 head 往往具有高 core 分数与低 bridge 分数，并据此提出层次化稀疏分配方法 SWA，在六个 LLM 上比对照策略更好地保留小世界结构与性能，WikiText 困惑度最多降低 20%。

以往评估 LLM 推理多依赖外部行为指标，如基准分数，难以解释能力来源。该工作把神经科学中的小世界网络视角迁移到 attention head 功能图，并给出可操作的结构指标，使推理能力从“只看输出”转向“可测量内部组织”，并进一步用于剪枝决策。

机制假设是：局部聚类形成紧密的功能社区，短全局路径保证跨社区信息传递，二者共同支撑推理。重要 head 更多在自身社区内聚集连接权重（高 core），跨社区权重更集中（低 bridge），因此可视为推理重要性的结构信号。SWA 据此做层次化稀疏分配，优先保留高 core 低 bridge 的结构，从而在压缩参数时维持小世界组织与性能。

对做模型压缩与推理部署的团队，该方法提供了一种基于 attention head 连接结构的剪枝打分思路，可能在不显著损失性能的前提下降低参数量与推理成本。研发流程上，小世界指数可作为训练检查点筛选和结构诊断的辅助指标，帮助判断某次训练或蒸馏是否改善了推理相关内部组织。

• 在模型压缩工具链中加入基于 core/bridge 分数与 SWI 的剪枝评估模块，对比现有稀疏策略的困惑度与推理基准。
• 将 SWI 作为训练监控指标接入实验平台，用于比较不同数据配比、蒸馏方案对推理结构的影响。
• 针对推理场景的端侧或低成本部署，验证 SWA 类分配方法在自有模型上的实际压缩收益与延迟下降。

• 该结论是否在更广泛模型规模、架构和任务类型上成立，论文摘要仅提及六个 LLM。
• 小世界指数与推理能力是因果关系还是相关关系，证据尚未说明。
• 高 core 低 bridge 作为 head 重要性指标，在非英语或非 WikiText 场景下是否稳定。
• SWA 带来的困惑度降低能否转化为下游推理任务的准确率提升，证据未给出。