EXAONE Tabular 1.0 技术报告：紧凑型表格基础模型，通过上下文学习实现高效分类与回归

LG AI Research发布EXAONE Tabular 1.0技术报告，介绍一种紧凑型表格基础模型系列，通过上下文学习完成分类和回归任务，无需针对数据集的梯度更新。模型仅在合成结构因果模型（SCM）先验上预训练，核心是架构层面的表格上下文学习重新设计。在TabArena基准上，其20.81M参数的分类模型排名第一，超越调优集成和4小时AutoML流程；回归性能接近1.64B参数的TabFM，推理成本约为其1/11。在BCCO、TALENT和ScoringBench上，该模型均取得领先成绩。

此前表格基础模型通常需要针对特定数据集微调或依赖大型模型，计算成本高。EXAONE Tabular通过架构创新，在极小参数规模下（20.81M）达到或超越大型模型（1.64B）的性能，同时推理成本降低约11倍，表明高效紧凑模型在表格任务上能够挑战传统AutoML和集成方法，可能改变表格建模的实践方式。

EXAONE Tabular采用架构中心化设计，在每一Transformer层中，交错进行特征轴注意力（针对每个样本内部特征）和支持条件化的样本轴注意力（针对每个特征内样本），并通过样本摘要和特征摘要token协调信息。这种设计避免将特征压缩为固定行嵌入再学习，从而更高效地利用上下文信息。预训练仅使用合成SCM先验，可能使模型学习到结构因果机制，提升泛化能力。

对产品的影响：表格数据建模工具可引入更小、更快的模型，降低成本并支持实时预测；无需梯度更新，便于快速适配新数据集；在回归和概率预测上表现优异，可能提升决策支持系统的准确性。研发团队可考虑集成该模型或类似的架构，缩短模型开发周期，降低算力需求。

• 将EXAONE Tabular封装为轻量级API，供内部业务团队快速进行表格分类和回归预测，减少对大型模型和AutoML的依赖。
• 在客户数据平台中集成该模型，实现实时客户分群和流失预测，降低推理延迟和成本。
• 基于其概率回归能力，开发预测区间输出功能，增强金融风控或需求预测的可信度。
• 评估在边缘设备上部署该模型的可行性，为物联网或移动端提供离线表格分析能力。

• EXAONE Tabular是否开源或提供商业授权？
• 该模型在真实世界非合成数据上的表现是否与基准测试一致？
• 除表格数据外，该架构能否扩展到其他数据类型？
• 模型的训练数据和预训练细节未在证据中完整披露，其鲁棒性有待验证。