TraceBench：时间序列根因归因的 LLM 智能体受控评估

TraceBench 是一个基于模拟的框架，用于受控地评估 LLM 智能体在时间序列根因归因任务上的表现。研究者用三个可解释的机械系统生成任务，评估了四个 LLM 智能体，发现领域上下文能显著提升性能，智能体主要依赖数值控制台输出而非可视化，且生成预测脚本会降低表现。相关数据集和排行榜已发布。

这是首个在受控条件下系统评估 LLM 智能体处理时间序列根因归因的框架。此前缺乏标准化评测，结果揭示了智能体对领域上下文的依赖和数据探索偏好，为后续开发更可靠的 AI 监控工具提供了基准。

该框架通过模拟物理动力学系统生成可控的根因归因任务，相比真实数据更易控制变量。评估发现，领域上下文可显著提升智能体性能，而要求生成预测脚本增加了任务难度，表明推理链路延长可能导致性能下降。

对依赖 AI 进行异常检测和根因分析的产品团队有直接参考价值。评估结果表明，在给智能体提供足够的领域上下文时，其表现更佳；而强制要求脚本输出可能适得其反。这提示产品设计应简化输出格式，并优先提供数值摘要而非可视化。

• 借鉴 TraceBench 的模拟方法，构建内部评测集来验证监控产品的 AI 根因分析效果。
• 在 LLM 驱动的监控工具中，增强对领域上下文的注入，如系统参数说明和日志摘要。
• 优化智能体交互流程，默认提供数值型控制台输出，减少对可视化的依赖。
• 设计轻量级的输出模式，允许直接提交预测而非强制生成脚本，以提升准确率。

• TraceBench 的评估是否涵盖真实世界系统的复杂性和噪声？
• 实验中评估的四个 LLM 智能体具体是哪些模型？
• 领域上下文对性能的提升程度未提供量化的具体数值。
• 结论在其他类型时间序列数据（如金融、医疗）上的泛化性未知。