有品味的智能体：长周期任务中品味的度量与改进

该论文提出用“taste”指代 LLM agent 在长周期任务中做关键决策的能力，例如选择测试哪条假设或基于哪个实现继续推进。作者构建 Taste-Bench，从 agent 在工程与研究任务中产生的轨迹自动挖掘决策分叉点，让模型在不看后续结果的情况下选择方向。评测显示最好模型仅答对 59.7%，且证据出现越晚的分叉越难，增加推理预算也无法提升准确率。作者还通过将看过结果的教师模型判断蒸馏给学生模型，使学生在未见任务上决策更好。

此前长周期 agent 评测只看端到端成败，无法定位是执行失败还是方向选错；Taste-Bench 首次把“分叉点上的判断”单独量化，并给出无需人工标注的自动构造方法，使 agent 决策质量成为可比较、可训练的指标。

该方法利用同一任务的并行尝试和单条轨迹中的绕路，自动找到存在更优分支的决策点，并隐藏分叉之后的轨迹，从而把结果导向的成败信号转成单点判断题。蒸馏则让已看到结果的教师模型把事后判断传递给学生，使学生在不知道结果时也能做出更接近正确方向的选择。

对研发和产品的直接意义是：agent 类产品不能只优化最终通过率，还需在关键分叉处设置检查点与人工确认；训练数据可来自自身轨迹中的绕路与多路尝试，无需额外人工标注，从而降低评测与微调成本，并可能减少长任务跑偏带来的算力和时间浪费。

• 在 agent 产品中加入分叉点检测，当轨迹进入多分支选择时暂停并向用户展示候选方向。
• 把内部 agent 的并行尝试与失败绕路自动收集成 Taste-Bench 式评测集，用于版本迭代回归。
• 用教师-学生蒸馏流程，将高成本模型或人工复盘中的事后判断转成低成本模型的决策能力。
• 针对证据出现较晚的分叉设计更长的上下文或检索机制，作为单独的优化项进行 A/B 测试。

• Taste-Bench 是否公开、覆盖哪些工程与研究任务领域、题目规模有多大？
• 59.7% 的最佳成绩对应的是哪个具体模型？
• 蒸馏后的学生模型在真实长周期任务上的端到端成功率提升了多少？
• 越晚出现的证据为何更难，是否与上下文长度、检索能力或训练数据分布有关？