能力流形与机器学习缩放定律

一篇 arXiv 论文提出 capability manifold（能力流形）框架，认为现有 ML scaling laws 只把预测损失与算力、模型参数、数据关联，当模型通过 agentic harnesses 部署后，损失相近的模型在推理、检索、规划、适应上的表现可能不同。该框架用有界缩放函数把下游能力映射到预训练、后训练与测试时资源，并用解析 Jacobian 量化能力对资源变化的敏感度。

此前评估和预测模型能力主要依赖 loss 与算力曲线，该论文指出 loss 不足以刻画 agentic 部署下的下游能力差异，并提出把预训练、后训练、测试时资源统一到同一能力空间的框架，可能改变模型选型与资源分配的判断依据。

机制上，框架把每种下游能力表示为资源投入的有界缩放函数，再用解析 Jacobian 计算能力对单一资源变化及资源间交互的敏感度，从而把 Kaplan、Chinchilla 类缩放定律和测试时算力统一描述为该流形上的轨迹，使不同资源组合可在同一坐标系下比较。

对研发与产品团队而言，这可能意味着不能再仅凭 loss 或单一 benchmark 决定模型、数据与推理算力的投入比例，而需要按目标能力分别评估预训练、后训练与测试时资源的边际收益，进而影响模型选型、微调策略和推理成本预算的制定方式。

• 在模型选型与 A/B 评估中加入按能力维度拆分的资源敏感度指标，替代单一 loss 或综合分。
• 为 agent 产品建立预训练、后训练、测试时资源的成本-能力映射表，指导算力预算分配。
• 围绕能力流形与 Jacobian 方法构建内部工具，评估不同资源组合对推理、检索、规划能力的影响。

• 论文仅给出嵌入 Kaplan、Chinchilla 与测试时算力的初始示例，尚未验证该框架在真实 agentic 部署中的预测准确性。
• capability manifold 所需的能力维度与资源度量在工程上如何低成本采集，证据未说明。
• Jacobian 量化出的能力敏感度是否能稳定外推到更大规模模型或不同任务分布，尚不明确。
• 该框架是否已被任何产品团队或基准测试采用，缺乏独立信源确认。