AI4AI-Bench：用于递归自我改进的LLM智能体算法设计基准

AI4AI-Bench 是一个新基准，用于衡量 LLM 智能体在算法设计上的能力，以探索递归自我改进的可能性。该基准包含 10 个冻结的研究仓库，覆盖 10 种训练算法族。每个任务中，智能体需在 4 小时内重写训练算法，随后代码从零运行最多 12 小时，并与原始算法对比评分。在 29 种配置的测试中，所有系统平均得分仅为 0.166，最佳系统得分 0.250，显示当前智能体在改进训练算法方面能力有限。

此前基准测试多聚焦于数据收集或超参数调优，无法区分“改变运行方式”与“改变模型学习方式”的差异。AI4AI-Bench 首次将训练算法设计作为独立能力进行评测，揭示了当前 LLM 智能体在递归自我改进方面表现薄弱，为衡量 AI 自我进化潜力提供了新维度。

递归自我改进的核心机制是改进训练算法本身，即通过优化目标函数或更新规则提高算力-能力转换效率，使后续每次运行都受益。AI4AI-Bench 采用固定评估器隐藏评分，将不同任务映射到统一刻度（0 为无信息模型，0.1 为仓库算法，1.0 为最优），从而客观比较不同系统的算法设计能力。结果发现多数智能体未真正改变模型学习方式，少数改变者平均得分 0.226，表明当前技术仍难以实现有效的算法创新。

该基准的发布可能促使 AI 开发者和研究者重新评估 LLM 智能体的实际能力，推动训练算法优化工具的研发。企业若依赖 LLM 进行自动化代码或算法生成，需意识到当前智能体改进训练算法的能力有限，可能影响相关产品的性能预期。同时，该基准为评估此类智能体提供标准，有助于产品选型和质量控制。

• 开发专注于训练算法改进的 LLM 智能体，针对基准中的薄弱环节提升模型学习方式改变的频率与质量。
• 构建基于该基准的自动化评估服务，帮助 AI 企业快速衡量其智能体在算法设计上的表现。
• 结合基准结果，优化现有 LLM 的推理和代码生成流程，提高重写训练算法的成功率。
• 围绕 AI4AI-Bench 推出培训课程或工具链，辅助开发者理解并改进智能体的算法创新能力。

• 该基准的评估是否适用于不同规模或类型的模型？未提及。
• B300 硬件限制是否可能影响智能体在所有任务上的表现？未说明。
• 智能体平均得分低是源于算法设计难度，还是因为评估设置（如4小时时间）过于严苛？证据未区分。
• 最佳系统 0.250 的得分是否代表现有技术天花板，还是存在未被测试的方法能达到更高分？未提供更多证据。