Chronicle：面向 LLM Agent 回归测试的切点回放

研究者提出 Chronicle，它把 LLM Agent 的一次运行在非确定性边界处记录为不可变信封，并可从中回放。其核心操作 cut-point replay 让选定边界走记录、其余边界用新代码实时执行，从而把历史故障转成可在持续集成中运行的回归测试。在 6 个记录故障的基准上，记录每跨一次边界约增 23 微秒，完整回放在 20 次重复中比特稳定且不发起模型调用，cut-point 测试能对错误代码报错、对受保护与良性改动放行。

此前 Agent 工具记录运行主要用于追踪或打分，无法直接拿历史记录检验一次代码改动是否引入回归。Chronicle 把记录变成可复用的测试资产，使非确定性、依赖外部工具状态的 Agent 故障也能在 CI 中被稳定复现和验证。

LLM 推理本身不可逐位复现，工具会读取变化中的状态，多步轨迹也很少重复，因此重跑难以复现故障。Chronicle 将非确定性边界固化为记录，回放时按切点选择哪些边界取自记录、哪些实时执行新代码，从而在保留故障上下文的同时隔离待测改动。

对构建 Agent 的团队，故障修复可以从人工重跑转向 CI 回归测试，降低复现成本；记录开销约每边界 23 微秒，相对模型调用可忽略。这要求工程上把运行记录、边界标注与测试断言纳入开发流程，并对受保护工具建立更明确的边界定义。

• 在 Agent 平台的 CI 流程中集成记录与切点回放，使线上故障可自动转为回归测试用例
• 为工具调用层提供边界记录与回放能力，帮助团队验证提示词或代码改动是否绕过安全约束
• 围绕敏感工具构建变异测试集，用切点测试替代简单桩边界来检查不安全动作是否被放行

• 证据仅基于 6 个记录故障和模拟模型边界的基准，真实生产 Agent 上的效果尚不明确
• 记录开销数据假设每次模型调用 300 毫秒，其他模型或工具延迟下的相对成本未验证
• 切点边界如何选择、由谁标注，以及长期存储和管理记录的成本未在证据中说明
• 与现有 Agent 追踪、评分工具相比，迁移和兼容成本尚无证据支持