TabFM：面向表格数据的零样本基础模型

arXiv 论文提出 TabFM，一个 400M 参数、面向表格数据的零样本基础模型，把监督式表格预测形式化为上下文学习，单次前向传播即可输出经过校准的零样本预测，无需针对具体任务调参。模型完全由结构因果模型生成的合成表格训练。在 TabArena 全部 51 个基准数据集上，零样本 TabFM 在默认表格基础模型中排名第一，并超过经过调优的 AutoML 流程。

此前表格任务通常逐数据集建模，依赖树集成或从零运行 AutoML 搜索，成本与周期都高。TabFM 表明，用合成表格训练的基础模型可以零样本迁移到真实任务，并在统一基准上超过调优后的 AutoML，这意味着表格建模的默认起点可能从“逐任务训练”转向“单次推理”。

机制上，TabFM 把监督式表格预测改写为上下文学习：训练数据作为上下文输入，模型在一次前向传播中直接给出校准后的预测，因此无需任务特定微调。训练数据全部来自结构因果模型生成的合成表格，使模型学到可迁移的通用表格表示。TabFM+ 在同一冻结权重上通过多视图特征扩展、集成与事后校准提升表现，TabFM-Auto 则引入 LLM 指导的数据集专属处理与特征工程。

对产品与研发而言，常见的表格预测需求（分类、回归）可在不训练专属模型的情况下先获得基线，减少 AutoML 搜索与调参的算力和时间开销，也简化数据标注与特征工程流程。团队可把 TabFM 作为默认基线，再按需叠加 TabFM+ 或 LLM 引导的特征工程来提升准确率，从而改变建模流水线的起点和成本结构。

• 将 TabFM 作为表格预测产品的默认零样本基线，用户上传数据即可得到校准预测，再按需升级到 TabFM+。
• 基于 TabFM-Auto 的 LLM 引导数据处理思路，构建自动特征工程与数据清洗环节，减少人工建模投入。
• 在 TabArena 或自有数据集上复现 TabFM 与现有 AutoML 流程的对比，验证后决定是否接入生产。
• 面向无机器学习团队的场景，封装零样本表格预测 API，按任务调用而非按模型训练收费。

• TabFM 在 51 个基准之外的真实业务数据集上零样本表现是否稳定，证据未覆盖。
• 单次前向传播的推理延迟、吞吐与部署成本尚未给出，难以评估规模化可行性。
• 400M 参数模型的权重、训练细节与可获取性未说明，能否复现或商用待确认。
• TabFM-Auto 依赖 LLM 引导，其额外成本与准确率增益的权衡尚无数据。