SWE-Journey：通过长周期多轮交互更真实地评估编程助手

研究人员发布 SWE-Journey 基准，用于更真实地评估编程助手。该基准用弱到强合成流程自动构造长周期编码任务，并从真实交互数据中挖掘四类用户画像，构建用户模拟 agent 复现多轮交互。结果显示，面对软件架构师画像时模型平均通过所要求功能测试超过 75%，而面对非程序员画像时不足 25%。

已有编码助手基准在任务长度和交互轮次上与真实开发场景差距较大，难以反映持续演进的代码库和反复澄清需求的过程。SWE-Journey 把任务周期与交互对象纳入评测变量，并给出不同用户画像下的通过率差异，使评估更接近实际部署条件。

该基准从两个方向补足缺口：一是用弱到强合成流程自动生成需要长链条开发工作的任务，替代人工构造的短任务；二是从真实交互数据中提取典型用户画像，并用用户模拟 agent 驱动多轮对话，从而把需求澄清和实现调整纳入测试。通过率随用户画像变化，说明交互能力而非单纯代码生成能力影响最终结果。

对编程助手产品而言，评测指标需要从单轮代码正确率扩展到长周期任务完成率和多轮需求对齐效果。面向非程序员用户的产品不能只优化代码生成，还需投入需求澄清、信息检索定位和错误修复的交互设计，否则实际可用性会显著低于面向专业开发者的表现。

• 为编程助手增加面向非程序员的需求澄清对话流程，将模糊描述转化为可执行任务
• 在产品内建立按用户画像分层的评测看板，分别跟踪架构师与非程序员的通过率
• 开发针对多轮交互的自动回归测试，用用户模拟 agent 复现真实澄清和改错过程
• 针对“问对、找对、改对”三类能力设计针对性提示或工具调用策略

• SWE-Journey 基准是否公开、可复现，以及其合成任务与真实仓库任务的分布差异有多大
• 四类用户画像的具体定义和覆盖范围，以及它们是否代表真实用户群体
• 论文中提到的通过率是在哪些具体模型和配置下测得，是否包含 Claude Code 与 Codex
• “问对、找对、改对”三类能力缺口的量化分析结论和对应改进手段是否有效