新基准 Taste-Bench 显示 AI agent 长期决策表现欠佳

The Decoder 报道了一项名为 Taste-Bench 的新基准，用于测试 AI agent 在长周期任务中做战略选择的能力。结果显示，表现最好的模型 GPT-5.6 Sol 在简单二选一问题中选对路径的比例略低于 60%。报道还指出，让模型思考更久并不能提升这类表现。

此前对 agent 的评测多集中在单步任务或短程执行，Taste-Bench 把评测对象转向长周期任务中的路径取舍，并给出可量化的低通过率结果；同时它否定了“延长思考即可改善”的常见假设，使长程决策成为独立的能力缺口。

长周期任务要求 agent 在信息不完整时对多条路径做取舍，单步推理正确并不等于全局选择正确。Taste-Bench 用简单二选一问题隔离这一能力，结果显示即便最强模型正确率也略低于 60%，且增加思考时长无改善，说明瓶颈可能不在推理步数，而在于对长期后果的评估与偏好判断。

对依赖 agent 执行多步骤流程的产品，需要重新评估自动化边界：长链路任务中应加入人工确认节点或路径对比环节，而不是单纯延长模型思考时间。研发侧应把长程选择质量纳入上线前的评测集，避免仅用短任务指标判断 agent 可用性。

• 在 agent 产品中加入多路径候选展示，让用户在长任务的关键分叉点选择方向
• 为企业客户提供基于 Taste-Bench 类长程选择测试的 agent 验收评测服务
• 针对长周期任务设计阶段性回滚与人工复核机制，作为差异化卖点
• 搭建内部评测集，按任务长度分层统计 agent 路径选择的正确率

• Taste-Bench 的具体题目设计、评分方式和样本规模尚未在证据中说明
• GPT-5.6 Sol 之外其他模型的具体得分未披露
• “思考更久无帮助”的测试条件与对比方法未明确
• 该基准结果与真实业务长周期任务表现之间的相关性尚未验证