先筛选再上线：14 亿规模生产级 CX AI agent 的模拟评测

该论文提出面向生产环境 CX agent 的假设驱动模拟工作流，用合成客户和模拟工具输出在不调用生产后端的情况下筛测候选 agent。在 Nubank 的 Card Delivery 及 Card Management agent 上，4 个已部署版本的模拟与生产二值评估分数高度相关；模拟引导迭代使 A/B 测试中 tNPS 提升 36.69 分，并在 16000 余次模拟对话中筛测开源模型，后续 A/B 测试使 SSR 提升 8.82 个百分点。

过去 CX agent 只能靠人工端到端测试或线上实验，覆盖有限且会把失败暴露给客户。该工作表明模拟分数可与生产版本分数高度相关，并支撑 A/B 验证，使模型、推理配置和提示词的大范围探索在不上线的前提下变得可行。

合成客户对 agent 回复作出反应，模拟工具输出支持多步 agentic 工作流，从而绕开生产后端。以假设驱动方式先筛候选 agent，用模拟分数预测版本级表现，再以线上 A/B 测试验证并迭代，形成先模拟筛选、后真实发布的闭环。

对客服、金融等受监管场景，可在部署前用模拟对话筛查候选 agent，降低客户暴露和信任损耗，并扩展人工测试无法覆盖的用例。模型选型和提示词调优可在模拟中批量完成，再以线上指标验证，减少实验成本与风险。

• 搭建模拟客户与模拟工具输出的评测流水线，用于候选 CX agent 上线前筛选和回归测试。
• 将模拟分数与线上二值评估分数做版本级校准，作为模型和提示词迭代的准入依据。
• 在受监管业务中用模拟环境批量对比开源模型、推理参数和提示词配置，再进入 A/B 测试。

• 模拟与生产分数的高相关性是否在其他团队、语言和业务场景中同样成立？
• 36.69 分 tNPS 提升与 8.82 个百分点 SSR 提升的持续时间和统计细节如何？
• 构建和维护 Snowglobe 类模拟器的成本、工具覆盖率与幻觉风险有多大？
• 开源模型筛选结果是否依赖特定推理设置，是否可复用到其他生产 agent？