CatalogAgent：监督中介自我学习系统赋能GenAI上下文工程

arXiv AI发布论文介绍CatalogAgent，这是一个监督中介的自我学习系统，用于电商目录的结构化属性填充。系统通过监督代理调解生成器与评估器之间的冲突，并利用记忆库和摘要器积累模式与学习，通过上下文工程注入工作LLM，实现自我改进。实验显示生成器和评估器性能分别提升15.24%和13.98%。

此前LLM生成器-评估器框架在冲突时无法自动解决，需要人工或依赖单一判断。CatalogAgent引入监督代理作为决策仲裁，并建立记忆闭环实现持续自我优化，无需人工干预，显著提升了电商目录填充的准确性和自动化程度。

系统包含生成器、评估器和监督代理。当生成器与评估器输出冲突，或卖家对输出给出外部反馈时，监督代理介入调解并做出最终决策。记忆库记录每个案例中监督代理的活动，记忆摘要器将这些活动聚合为学习模式，通过上下文工程将学习注入生成器和评估器的上下文，使其在下一次任务中自动改进。

该技术直接适用于电商平台的商品信息管理，可自动补全缺失的材料、颜色等属性，减少人工录入错误和成本，提高产品目录数据的完整性和一致性。同样可用于其他需要结构化信息提取的场景（如招聘、房源）。

• 开发基于监督代理的电商目录自动补全插件，集成到Shopify等平台
• 构建通用结构化数据提取与验证服务，面向CRM或ERP系统
• 将冲突调解与记忆回放能力封装为API，供第三方LLM应用调用
• 为电商卖家提供SaaS工具，定期优化商品描述中的属性填充准确性

• 监督代理的决策逻辑是否可解释？有无人工审核介入机制？
• 系统在非英语电商场景（如中文、阿拉伯语）中表现如何？
• 记忆库中存储的学习模式是否支持跨品类或跨平台迁移？
• 与直接微调LLM相比，持续自我学习的维护成本和收敛速度如何？