TREK：面向复杂行程规划的LLM代理旅行推理与评估工具包

研究团队发布TREK基准，包含800个多约束旅行规划任务（533个可行，267个不可行），基于212,530条记录覆盖375个城市和13种角色特质的合成知识库。采用完全确定性的规则评估器，不使用LLM评判。测试15种LLM代理后，最强模型GPT-5.6仍无法生成完全满足所有约束的计划。

此前旅行规划基准只奖励单维度约束，使用软评分或LLM评判，无法保证计划可执行且不可审计。TREK首次实现全确定性、可复现的评估，并包含不可行任务，能精准定位代理的约束违规类型，为LLM代理在复杂规划场景中的实际可用性提供可靠度量。

TREK构造一个内部一致的合成知识库并通过模拟RESTful API提供工具沙箱。每个任务配备经过人工验证的金标准参考，评估器沿九种约束维度（时空可执行性、预算、角色需求等）进行规则检查，确保得分严格反映代理能力而非评分标准偏差。

对旅行规划AI产品的团队，TREK提供可直接使用的严格测试框架，用于评估模型在多约束场景下的真实规划能力。开发者可依据9个维度的失败类型定向优化代理（如改善时空推理、预算管理）。

• 基于TREK基准开发专注多约束满足的旅行规划代理，可先针对高频错误类型进行专项改进
• 将TREK的确定性评估器集成到内部CI流水线，替代LLM评测实现可审计的回归测试
• 借鉴TREK的约束框架设计类似评估基准，用于活动策划、物流调度等复杂规划领域

• TREK的合成知识库是否覆盖真实预订场景中的价格波动与可用性变化？
• 除GPT-5.6外，其他模型（如开源模型）在TREK上的表现差异如何？
• 基于TREK的改进能否直接提升商业旅行规划产品的用户体验？