AutoData：面向预训练数据选择的智能体搜索

一篇 arXiv 论文提出 AutoData，把预训练数据选择视为对可执行筛选算法的搜索问题，而非在固定领域集合上调权重。该智能体在打分、分层和随机选择规则组成的程序空间中迭代搜索，并用代理模型的验证反馈自动发现特征交互。论文称，一次通宵搜索得到的筛选算法优于现有人工设计的数据处理流程，且该配方可迁移到更大规模并提升下游 CORE 指标。

此前的智能体自动机器学习主要编辑模型结构与训练代码，数据环节基本处于自动优化循环之外；数据筛选仍依赖人工经验与固定领域权重。AutoData 把数据工程也纳入智能体搜索范围，意味着自动化研究从模型和训练代码延伸到数据侧，压缩了人工设计数据处理流程的空间。

AutoData 不优化固定领域上的混合权重，而是搜索可直接执行的筛选程序，覆盖打分、分层和随机选择规则，并通过迭代改进算法自动捕捉特征之间的交互。搜索过程以代理模型的下游验证反馈作为信号，因此搜索成本相对可控；论文称在该小代理上搜索出的配方能迁移到更大规模，说明筛选规则的有效性具有一定规模不变性。

对研发团队而言，数据清洗与筛选流程可从人工规则转向可搜索的程序空间，减少反复手工调参的人力投入。若配方确能跨规模迁移，小模型上的筛选实验可作为低成本试错手段，降低大模型预训练前的数据准备成本，但实际收益仍取决于验证指标与业务目标的一致性。

• 在自有预训练或微调流程中搭建小代理模型验证环节，用低成本实验批量评估数据筛选规则，再决定是否上大模型。
• 把现有基于人工规则的数据清洗脚本改造成可参数化、可搜索的程序形式，便于智能体迭代生成和替换。
• 针对垂直领域数据建立特征库（词法统计、类别标签、困惑度），验证 AutoData 式搜索在领域语料上的迁移效果。
• 将数据筛选搜索纳入模型迭代的常规实验轨道，跟踪其发现的最优规则是否需要随数据分布变化而重新搜索。

• 论文所称优于人工设计数据处理流程，具体对比了哪些基线，差距幅度多大。
• CORE 指标提升的具体数值、评测设置和统计显著性尚未在证据中给出。
• 所谓从代理模型迁移到更大规模，具体覆盖的模型规模区间和迁移条件未被说明。
• 一次通宵搜索的计算开销、所需代理模型规模及复现成本未在证据中披露。