Thomson：面向主权AI的前沿模型持续学习

Thomson是一个通用领域前沿模型，基于开放权重模型进行持续学习，并在预训练后阶段进行强化训练，其性能在智能体任务、安全、法律、税务、多语言和大规模深度研究等方面与近期前沿模型相当。该项目的目标是让更多机构以更低成本实现主权人工智能，即独立构建、部署和管理AI。

此前前沿模型通常被认为需要巨额资金和资源，导致信息、经济和权力不对称。Thomson通过持续学习和开放权重模型，以较低预算实现了接近前沿模型的性能，使更多机构能够掌握模型所有权、工具基础设施、价值观和数据隐私，可能改变AI开发格局。

该方法利用现代中训练和后训练流程，对开放权重模型进行参数的高影响力干预，同时保持可塑性和稳定性，避免大规模微调或提示工程等限制。通过持续学习，获得相当于多个后续模型代的性能提升，且计算和人员预算大幅降低。

该模型在智能体任务、法律、税务等专业领域表现优异，可能降低企业构建专有AI模型的门槛，减少对第三方模型的依赖，同时在数据隐私和价值观对齐方面提供更多控制权。产品开发和部署成本有望降低，但具体影响需结合使用场景评估。

• 评估Thomson在智能体任务中的表现，探索将其集成到现有Agent产品中，以增强任务执行能力。
• 针对法律、税务等专业领域，开发基于Thomson的垂直应用，提升专业服务效率。
• 利用其多语言能力，拓展非英语市场产品，优化本地化体验。
• 研究其持续学习技术，构建企业级定制模型服务，提供低成本的模型定制方案。

• Thomson的具体训练数据和参数规模未公开，其性能复现性待验证。
• 持续学习在长期运行中是否会面临灾难性遗忘，证据未提及。
• 与特定前沿模型（如GPT-4）的详细对比结果未完整披露，论文尚未公开完整评测。
• 模型的开源协议和商用许可未明确，影响实际采用。