RankEvolve：面向排序模型演化的可靠多智能体自动研究框架

一篇 arXiv 论文提出 RankEvolve，用于演化生成式排序模型的自动研究框架。它通过可执行操作协议 EOP 声明阶段、门控、分支与循环，由运行时强制执行编译后的状态机，并用 meta-meta-harness 把 Claude Code、Codex 等黑盒编码智能体产品组合为执行图节点互相审查和修复。预算匹配评测中，异构组合将全预言机执行准确率从单产品基线 45.8% 提升至 62.5%，静默严重缺陷率为 10.4%。在 HSTU 推荐模型上完成十二轮部署，MovieLens-20M LARGE 的 NDCG@10 为 0.2192，BASE 为 0.1948。

此前自动研究智能体的瓶颈多被视为模型能力，而该工作把长周期实验中的执行准确性作为核心约束，指出数据泄漏、漏归一化、梯度断开、训练评估标志未接等问题会静默污染昂贵运行。它用状态机与多产品互审把执行可靠性变成可度量指标，并给出预算匹配下的准确率提升，说明自动研究流程的竞争点正从生成想法转向可靠执行。

机制是把实验流程编译为显式状态机：EOP 定义阶段、门控、分支和循环，运行时据此强制推进，避免智能体自由发挥导致状态漂移；meta-meta-harness 将 Claude Code、Codex 等完整黑盒编码智能体作为执行图节点，让它们互相审查和修复，用异构性抵消单一产品的系统性盲点；知识层跨迭代保存发现，包括负面结果，减少重复试错。

对做推荐、搜索或广告排序的团队，这套框架提示可把自动实验的执行校验前置为协议与门控，而非事后检查。产品上可把数据泄漏检测、归一化检查、梯度与训练评估标志校验做成运行时的硬门槛；研发流程上应记录每轮实验的失败与负面结果，避免重复消耗算力；成本上，降低因静默缺陷导致的无效训练可直接影响 GPU 预算和迭代周期。

• 为内部 AutoML 或实验平台增加可执行操作协议层，把阶段、门控与分支写成可编译状态机并强制运行时校验。
• 把数据泄漏、归一化缺失、梯度断开、训练评估标志未接做成自动研究流程的阻断式检查项，并通过基准测试量化缺陷率。
• 构建跨迭代知识层，显式保存负面结果和事故记录，用于训练或提示后续编码智能体避免重犯同类错误。
• 在推荐或排序模型迭代中引入异构编码智能体互审机制，并测量其相比单一产品的执行准确率增益。

• 论文所述 62.5% 执行准确率和 10.4% 静默严重缺陷率的具体评测集与统计口径尚需确认。
• 十二轮 HSTU 部署中 NDCG@10 提升是否在多次重复实验下稳定，证据未给出方差或显著性。
• EOP 与 meta-meta-harness 对非推荐类机器学习任务的迁移效果如何，证据不足。
• 组合 Claude Code 与 Codex 等产品的成本、延迟与失败恢复机制未在证据中说明。