MACRO：Transformer 层的马尔可夫链路由方法

arXiv 论文提出 MACRO 框架，将 Transformer 层路由建模为马尔可夫链策略，在不修改模型参数的情况下为 LLM 学习任务特定路径。在多个开源权重模型上，相比未路由基线平均提升 5.0%，比 Dr. LLM 高 7.2%，且搜索时间从 14.8 小时降至 1.6 小时，代码已公开。

此前动态层路由通常需要更新权重、为每个测试样本运行昂贵搜索或依赖真实标签。MACRO 无需修改参数、在训练数据上更新路由分布，并用 top-k Viterbi 解码，大幅降低搜索时间，为推理阶段高效路由提供新方向，尤其对小模型增益明显。

MACRO 将层路由视为依赖层索引、计算预算阶段、方向位移和算子上下文的上下文相关马尔可夫策略，支持跳跃、重复和残差相加操作。路由分布在训练数据反馈下更新，解码时用 top-k Viterbi 算法提取高概率候选程序，从而在保持模型参数不变的前提下优化执行路径。

对依赖 LLM 推理的产品，MACRO 可能降低推理延迟或提升任务准确率，尤其是小模型；无需微调即可适配新任务，减少研发成本；但需评估路由搜索在真实场景的可行性和稳定性，以及长上下文下的计算开销。

• 将 MACRO 集成到推理服务中，为不同任务自动选择最优层路径，提升准确率。
• 针对小模型构建任务路由库，将训练好的路由应用于边缘设备推理。
• 开发基于 MACRO 的任务路由工具，让开发者无需微调即可优化下游任务。
• 结合开源代码，评估在自有任务上的准确率与延迟收益。

• MACRO 在更大规模模型（如 70B+）上的收益和搜索开销是否仍具优势？
• 训练路由的额外数据需求和时间成本如何？
• 路由策略在不同领域任务（如代码生成、多模态）上的泛化能力如何？
• 是否支持批量推理或流式请求场景？