为模型定日期：系统提示中的隐藏日期影响 LLM 评测

一篇 arXiv 论文指出，LLM 的 system prompt 中会被隐藏注入当天的日期，用户无法控制且每天变化。作者在 9 个近期 LLM 和 6 个数据集上测试多选问答、数学推理、代码生成和机器翻译，发现性能仅随当天日期波动：MCQA 最大差 6%，数学推理 14%，代码生成 7%，机器翻译 2.84 BLEU。模型排名也会变化，影响排行榜，且该日期效应超过 batch size 和数值精度等非确定性来源。

此前关于 LLM 评测不可复现的讨论多集中在硬件、batch size 和数值精度，而该研究指出一个用户不可控、每天自动变化的隐藏变量：system prompt 中的当前日期。它带来的性能波动大于已知非确定性因素，还能改变模型排名，说明现有评测与排行榜可能把日期差异误读为模型能力差异，公平比较的前提被削弱。

机制在于模型服务方在 system prompt 中自动注入当前日期，用户看不到也无法关闭。日期变化会改变模型对时间相关上下文的解读，进而影响输出分布；这种影响在 MCQA、数学推理、代码生成和机器翻译上均可测。标准提示技巧无法消除敏感性，chain-of-thought 反而放大它，说明日期影响并非简单可被提示策略覆盖。

对研发和评测团队而言，若在同一实验中使用不同日期运行模型，结果差异可能并非来自模型或提示改动，而来自隐藏日期。排行榜和 A/B 测试需要固定或记录日期变量，否则版本比较、回归测试和选型结论可能失真。对依赖 LLM 评测做采购或产品决策的团队，需把日期纳入实验记录与重复验证流程。

• 在评测平台中记录每次调用的系统日期，并提供按日期分组的对比视图，用于识别日期效应。
• 为模型 API 调用提供可固定日期的测试模式或缓存机制，降低评测中的日期波动。
• 在模型选型和排行榜产品中标注评测日期窗口，避免跨日期直接比较排名。
• 开发回归测试流程，在多个日期重复同一评测集，输出性能波动区间而非单一分数。

• 该日期注入是哪些模型服务商的默认行为，用户是否可关闭或覆盖？
• 日期效应在不同语言、不同模型规模或不同任务上的具体触发条件是什么？
• 是否存在不修改 system prompt 即可稳定评测的替代协议？
• 排行榜和公开基准是否已记录或控制评测日期变量？