技能预训练：将技能作为智能体语言模型的预训练数据

arXiv AI 发布论文提出 Skill Pre-Training（SPT）方法，将公共多文件技能包作为预训练数据，通过引用插入策略组装文件，提升智能体语言模型的工具使用能力。实验表明，SPT 优于通用数据或轨迹数据的训练，且保持通用性能。

此前智能体模型主要依赖后训练阶段生成的工具调用轨迹，覆盖新任务成本高昂。SPT 利用公共技能包作为预训练数据，降低了数据获取成本，可能改变智能体模型的训练范式。

技能包编码了可复用的工具语义和工作流程，通过因果语言建模处理这些数据，可赋予模型工具使用能力。引用插入策略保持文件间关联，使模型学习到文件间的依赖关系，从而提升多文件任务的执行效果。

对于开发智能体产品的团队，SPT 提供了低成本预训练数据方案，可能减少对人工轨迹数据的依赖，降低数据标注和采集成本，同时提升模型在工具调用场景的表现。需验证其在生产环境的实用性和泛化能力。

• 开发基于 SPT 的预训练服务，为智能体产品提供定制化技能预训练。
• 将 SPT 方法与现有轨迹后训练结合，构建混合训练流水线。
• 构建公共技能包数据管道，自动收集、筛选和组装多文件技能数据。

• SPT 方法在不同领域（如编程、办公自动化）的泛化效果如何？
• 技能包数据的质量和多样性对训练效果的影响程度？
• SPT 是否需要与其他预训练方法结合才能达到最佳效果？
• 论文的实验规模是否足够支撑其在生产环境中的可靠性？