STOCKTAKE：用公平参考策略衡量LLM代理在感知与行动之间的差距

STOCKTAKE是一个面向LLM代理的26周供应链补货基准测试，采用公平参考策略（oracle）分离感知与行动失败。测试Claude Sonnet 5、GPT-5.4等四个模型发现，它们能检测84-88%的隐蔽故障，但技能得分范围从0.62到-0.23，两个模型低于盲基准线。即使正确诊断压力周，仍有34-43%导致缺货，暴露出知行差距。

此前评估无法区分LLM代理是因感知错误还是行动失误导致失败，STOCKTAKE通过可计算的公平oracle首次分离这两个维度，揭示模型即使正确感知仍可能行动失败，且部分模型整体表现低于无认知的基准策略。

基准设计为可分解的部分可观察马尔可夫决策过程，含六个隐藏因子。每个因子的精确贝叶斯滤波器驱动滚动策略，使用与代理相同的观察流，从而独立测量状态估计滞后和知行率，实现感知与控制分离。

对自动化决策产品（如供应链管理）意味着仅提升感知能力不足以解决失败，必须强化行动执行。需重新设计评估体系，关注模型在正确诊断后的决策质量，并可能调整模型训练目标以缩小知行差距。

• 为供应链管理代理引入知行差距检测模块，每周输出延迟诊断率与知行率
• 开发结合感知诊断与行动执行的联合优化训练框架
• 基于STOCKTAKE的oracle方法设计可解释的评估仪表盘，用于监测代理生产表现

• STOCKTAKE的阈值设定如何影响不同模型的技能得分？
• 知行差距是否在更长周期任务（如52周）中进一步扩大？
• 示例中模型的具体架构细节（如Claude Sonnet 5）是否影响结果？