有品味的 Agent：长周期任务中的品味测量与改进

一篇 arXiv 论文提出用“taste”描述 LLM agent 在长周期任务中做关键分支决策的能力，并构建 Taste-Bench 基准。该基准从工程与研究任务轨迹中自动挖掘决策分叉点，让模型在不知道后续结果的情况下选择方向。评测显示最强模型仅答对 59.7%，决定证据出现较晚的分叉对所有模型更难，增大推理预算也不提升准确率；论文还展示了可通过蒸馏见过结果的教师模型来训练学生模型，使其在未见任务上决策更好。

此前长周期 agent 基准多只看端到端成功率，无法区分“运气好”与“决策好”。该工作把长周期决策质量单独拆成可测量的分叉选择题，并给出自动挖掘分叉、无需人工标注的流程，使 agent 的能力评估从结果层细化到过程层；同时指出推理算力堆叠并不能弥补这一能力，改变了以往“加预算即变强”的默认假设。

机制上，同一任务被并行多次尝试，或单条轨迹中出现绕路，这些差异点暴露了存在多个可选方向且其中一个更优的决策分叉。系统自动提取分叉并隐藏后续结果，迫使模型仅凭当下信息判断方向。由于正确答案依赖轨迹后段才出现的证据，模型必须提前预判后果，因此对长程因果与信息价值的判断成为瓶颈，单纯延长推理链无法提供缺失的信息。

对研发与产品流程的直接含义是：agent 产品的竞争力不能只看任务完成率，还需评估关键时刻的方向选择质量，并可能需要在流程中引入“先看结果再回头校准”的教师信号。模型侧可通过蒸馏具备结果信息的判断来提升学生模型，但需额外投入结果标注或模拟。评测集可用于上线前的决策质量回归测试，避免用推理预算掩盖决策短板。

• 将 Taste-Bench 式分叉评测接入 agent 产品上线流程，作为与成功率并列的决策质量回归指标。
• 利用团队已有的多次并行执行记录自动挖掘决策分叉，构建内部 taste 评测集，降低人工标注成本。
• 为编码或研究类 agent 增加“先探索再回头蒸馏”的训练环节，用结果信息校准早期决策策略。
• 针对证据后置型分叉设计信息检索或延迟决策机制，而非单纯增加推理步数。

• Taste-Bench 的具体题目规模、领域覆盖和评测细节尚未在证据中说明。
• 论文所述学生模型在未见任务上提升的幅度、泛化边界与对比基线未知。
• “taste 可训练”是否依赖特定教师模型或特定任务类型，证据未给出适用范围。
• 该基准上的分数与实际端到端任务成功率之间的相关性尚未被证据确认。