SWE-Prometheus：衡量真实仓库中的工程治理改进

arXiv 论文 SWE-Prometheus 提出面向仓库工程治理的新基准。它不依赖人工指出的具体 issue，而是给出固定代码快照和开放式目标，要求 coding agent 自行识别风险、排定干预优先级并验证改动。评测覆盖六个治理维度，纳入 60 个仓库，十款模型在 22 个公开仓库子集上测试，平均 NGI 从 0.0568 到 0.5760，行为破坏率为 0% 至 23%。

此前仓库级基准多从人类指出的问题出发，只看补丁是否满足功能信号，难以判断 agent 是否真正改善工程健康。该基准把任务改为开放式治理目标，并用配对证据、干净环境探测和行为门禁评估，使“增加治理文件”与“带来可执行改进”可被区分。

基准通过固定快照与开放目标，把评估从补丁对不对转向风险识别、优先级排序和改动验证的全流程。六维治理、配对证据与两名独立教师评分构成多信号打分，行为门禁检测改动是否破坏原有行为；no-op 条件中位数 NGI 为零、两名教师 60 个维度中 57 个完全一致，为区分真实改进提供参照。

若团队用 coding agent 做仓库维护，该基准提示不能只统计新增测试或文档。产品侧需把行为门禁、干净环境验证和治理维度打分纳入 agent 评估面板；研发流程可据此优先修复可复现环境与依赖安全问题，避免模板化改动被误判为治理提升。

• 在内部 coding agent 评测中加入行为破坏率与干净环境探测，避免只看任务通过率。
• 将治理维度打分接入研发看板，按仓库呈现 Tests & CI、依赖安全等分项进展。
• 为客户提供仓库治理体检功能，基于固定快照生成风险清单与优先级建议。
• 针对模板化治理改动设置行为门禁，拦截只加文件不改执行的提交。

• 60 个仓库的选取标准与行业分布未在证据中说明。
• 六维治理各维度的具体定义和评分权重未被披露。
• 行为破坏率 0% 至 23% 的差异是否来自模型能力、仓库类型还是任务难度，尚不明确。
• 两名教师评分的完整一致性数据只给出 no-op 条件的 57/60，其余条件未说明。