大语言模型为何在表格预测中失败

一项针对前沿大语言模型（LLM）在表格数据预测任务上的研究，通过单一生成过程评估五个失败假设，发现噪声、CSV格式、数值分词和测试点数并非关键，输入维度才是决定性因素：随着维度增加，LLM精度下降，而经典基线保持稳定或提升。

此前普遍认为LLM在表格预测上表现不佳，但原因不明。该研究首次通过系统实验排除了多个常见假设，明确指出维度是核心障碍，为表格基础模型研究提供了新的理论依据，可能影响模型设计和应用选择。

实验表明，LLM在低维时类似局部距离法，但在高维时无经典模型能复现其行为，说明其高维处理机制特殊且效率低下，可能与其内部表示或注意力机制对维度扩展的适应性不足有关，但内部机制尚未明确。

对依赖表格数据预测的产品，直接使用通用LLM可能效果不佳，尤其在特征维度较高时。研发团队需考虑降维预处理或结合经典模型，否则预测精度和成本可能不理想。

• 为表格预测任务开发专用的维度约简工具，提升LLM在高维数据上的性能。
• 在LLM提示中嵌入特征选择或PCA结果，以降低输入维度。
• 构建混合系统，低维用LLM，高维切换经典模型，优化精度与成本。
• 针对高维表格场景，研发专门的表格基础模型，而非通用LLM。

• LLM在高维下性能下降的内部机制具体是什么？
• 该结论是否适用于其他模型规模或架构？
• 维度影响的阈值是多少？是否存在可接受的维度上限？