层级自我改进：面向任务特定可进化 Agent 框架的框架

Hugging Face 每日论文发表了一项研究，提出层级自我改进（HSI）框架，让单个冻结的 LLM 在三个层级上工作：任务 harness、进化器、元进化器。在 BALROG 基准上以 DeepSeek-V4-Flash-Preview 为骨干，HSI 在中等难度任务上相对初始 harness 获得持续提升（BabyAI +39.3、Crafter +33.0、TextWorld +25.0、MiniHack +15.0），并在不可见拆分上取得强泛化结果。

以往 LLM 代理的改进主要靠手动调整提示、工具或工作流，而执行脚手架（harness）被视为固定产物。HSI 提出让 harness 随任务家族持续进化，通过固定任务注入接口热替换，并用环境反馈重写，改变了代理优化的静态假设，使代理能力可在部署后自动提升。

HSI 通过三层作用域（任务执行、harness 重写、进化策略重写）在冻结模型上实现自我改进。thinking-on/off 设计隔离了推理，在任务执行时关闭推理，在自我修改时开启，从而突出 harness 进化的贡献。进化受反馈保真度和骨干能力两个边界限制，表明其改进空间由奖励信号质量和模型固有能力决定。

该框架可减少人工调优代理提示和工具的成本，使代理在部署后能根据环境反馈自动优化，提升任务表现与泛化能力。产品中可集成 HSI 以持续改进 agent 的 harness，尤其在任务复杂度和可变性高的场景下，能降低运维干预频率。

• 在现有 agent 产品中引入 harness 进化层，实现部署后任务性能自动优化，减少人工调优。
• 为每个任务家族建立独立 harness 并热替换，提升复杂任务的适配速度和泛化能力。
• 借鉴 thinking-on/off 设计，在非推理阶段关闭推理以降低计算成本，同时保留自我修改时的推理能力。
• 针对骨干能力不足的任务，评估反馈保真度边界，设计更精细的奖励信号以指导进化。

• HSI 在任务难度超出骨干模型能力时表现如何，文中未给出完整结果。
• 框架对不同冻结骨干模型的泛化能力是否一致，证据仅基于 DeepSeek-V4-Flash-Preview。
• 进化过程的计算开销与时间成本是多少，证据未提及。
• 热替换 harness 是否会引入稳定性或安全问题，证据未说明。