基于大语言模型的预测智能体：方法、训练、评估与应用综述

一篇 arXiv 论文系统研究了基于大语言模型的预测智能体，将其架构分为独立 LLM 工作流、工具与检索增强智能体以及 LLM 与统计或基础模型结合的混合系统。论文评估了训练与评测方法，指出当前测量与评测存在局限，包括对输入扰动敏感、组件消融效果不明确以及基准可能受污染。未来需解决分布偏移下的校准、抗污染实时评测，并同时报告成本与准确率。

该论文梳理了 LLM 预测智能体三种架构，并明确指出评测可靠性问题，为产品团队评估相关技术提供系统性参考，避免盲目采用可能因基准污染而虚高的方案。

LLM 预测智能体通过语言推理结合时序数据、证据检索、外部工具与迭代预测来提高预测准确性。混和系统将 LLM 与统计模型联合，前者处理文本与事件语境，后者建模时序。评测局限源于敏感性与基准污染，需通过抗污染实时评测和联合成本报告来验证真实性能。

产品中若引入 LLM 预测能力，需关注数据扰动影响、评测基准可靠性，并须同时评估成本与准确率，以避免部署后效果与预期不符。

• 构建包含工具与检索增强的预测智能体，用于金融或能源领域的趋势判断，验证在真实场景的增益。
• 设计抗污染的实时评测流程，对比 LLM 与统计模型性能，确保预测效果可归因于时序推理而非记忆。
• 将成本与准确率联合评估，开发成本敏感的预测方案，适用于预算受限的运营场景。
• 探索 LLM 与统计基础模型的混合系统，用于气象或健康领域，并报告负面结果以指导选型。

• 论文未证实任何具体模型的性能数据或应用效果。
• 未说明哪些基准存在污染及污染程度。
• 未提供成本与准确率的具体权衡数值。
• 未涉及部署中的反馈循环如何影响预测结果。