TACO：面向 LLM 微调的列式三元绝对值最大单稀疏优化器

TACO 是一种面向 LLM 微调的新优化器，沿用 Muon 的算子范数最速下降思路，在二维权重矩阵每列中选取绝对值最大元素并取其符号，从而在保留一阶梯度的情况下大幅压缩优化器状态。在 OPT-13B 上，持久优化器状态相较 AdamW8bit 减少 174 倍，峰值训练显存降低 2.9 倍，精度与运行时间相当，并支持单张 80GB H100 全参数微调 30-32B 模型。

以往的优化器内存压缩方案要么压缩状态，要么舍弃一阶梯度，要么保留稠密状态只改更新几何；Muon 虽降低内存，但其几何与 AdamW 不同，微调 AdamW 预训练模型时可能出现性能下降。TACO 声称在保持精度的同时把显存门槛进一步下压，使单卡全参数微调的模型规模显著上移。

TACO 遵循 Muon 的算子范数最速下降视角，在维度归一化的 1→1 算子范数下计算精确最速下降方向：对每个二维权重矩阵的每一列，仅取幅值最大元素的正负号，因此每列只需保存少量低精度梯度分量。这种稀疏化让持续优化器状态接近可忽略，同时仍保留一阶梯度信息，避免因放弃梯度或改变更新几何而损失精度。

若结论可复现，显存受限的团队可在单张 80GB H100 上全参数微调 30-32B 模型，降低对多卡并行与显存优化的依赖，训练基础设施成本与部署门槛随之下降。对微调平台而言，优化器状态从 27.7GB 降至 0.16GB 可释放显存用于更大 batch 或更长序列。

• 在内部微调流水线中接入 TACO 作为可选优化器，与 AdamW8bit 做同任务 A/B 对比，验证精度与吞吐差异。
• 针对单卡 80GB H100 场景封装 30-32B 全参数微调配方，记录可复现的显存峰值与训练时长。
• 评估将释放的显存用于扩大 batch size 或序列长度，量化对微调迭代速度的实际收益。
• 在多模型家族与多任务上复现论文精度结论，判断是否可将 TACO 设为默认优化器。

• TACO 在 AdamW 预训练模型之外的预训练来源模型上是否同样保持精度？
• 除 OPT-13B 外，30-32B 单卡微调的精度与运行时数据是否已在多模型家族上完整验证？
• TACO 与 LoRA 等参数高效微调方法的显存和精度对比如何？
• TACO 的实现是否已开源、可稳定复现，并在主流训练框架中可直接使用？