DataSense-Bench：迈向 AI 科学家的第一步

研究者提出 DataSense-Bench，用于检验前沿 AI 模型是否具备“数据感”，即能否为微调小型 LLM 选出高价值训练数据。任务中智能体可检查数据、写并执行分析代码、跑前向推理，但不能训练模型或访问真实评测任务。实验在终端问题求解与工具使用两类场景进行，结果显示相对随机选择的数据增益有限，排序能力不稳定。

此前关于递归自我改进与 AGI 的讨论多停留在能力宣称层面，缺少可量化的数据选择评测。该工作把“模型能否判断什么数据值得训练”变成有标准化协议的可测问题，并给出初步负面结果，为相关主张提供了对照基准。

基准通过让智能体在无法训练和接触真实评测任务的约束下，仅凭数据检查、代码执行与前向推理来挑选并排序训练子集，再用统一微调与评测流程测量所选子集的事后表现。由此把数据选择能力拆成两个可观测维度：能否找到高价值数据，以及能否预测子集间的相对优劣。

对做数据标注、数据筛选或微调流水线的团队而言，不能默认模型能自主完成数据取舍；若将数据选择交给智能体，需要额外验证环节与人工兜底。数据质量判断仍可能是训练流程中的瓶颈，相关自动化投入的收益需先做小规模对照实验确认。

• 在内部微调流程中加入数据子集选择对照实验，比较智能体选择与随机选择的训练后效果。
• 为数据筛选智能体建立排序准确率的验收指标，并要求跨任务多次运行后再决定是否上线。
• 针对终端与工具使用等具体场景分别构建小型数据选择评测，避免用单场景结论外推。
• 记录智能体数据选择的执行轨迹，作为人工复核与规则沉淀的输入。

• 实验中提到选择增益有限，但证据未给出具体数值与置信区间。
• Astra 在工具使用三次运行中均找到最佳组、终端任务三次中仅一次，原因尚未在证据中说明。
• 该基准结论能否推广到更大模型或更大规模微调数据尚不明确。
• 执行轨迹分析的完整结论在摘录中被截断，未说明其发现。