ArchitectureIQ：衡量模型训练直觉的基准

arXiv 论文提出 ArchitectureIQ 基准，用合成数据集和多种训练配方测试 LLM 与人类研究者预测最佳训练方案的能力。结果显示，前沿模型约 76% 准确率，高于最佳人类研究者的 66.0%，随机选择为 33%；但在仅涉及架构的问题上，最佳人类为 65%，GPT-6 Astra 仅为 38%。作者总结出四项局限：直觉不完美、偏经验而非结构化、可压缩为知识库、对数据属性不敏感。

此前评估多聚焦模型在数学、代码等任务上的能力，缺少对“训练直觉”这一研究者核心技能的量化。该基准首次把 LLM 与顶尖人类研究者在同一组训练配方选择任务上直接对比，并指出模型在架构问题上明显弱于人类，为评估模型是否具备 AI 研究能力提供了新的测量维度。

基准通过合成数据集加多组训练配方，让受测者预测哪个配方能得到最佳测试指标。模型整体得分高，说明其能利用经验模式匹配；但增加 CoT 计算量无显著提升，且对数据属性不敏感，说明当前推理更多依赖浅层经验而非对训练机制的结构化理解。作者据此认为，AI 领域缺少类似数学中可支撑结构化推理的“Science of AI”语言，数据本身仍是理解盲区。

对研发团队而言，该结果提示不能仅依赖模型直觉或更多推理算力来做训练方案决策，尤其在架构选择上。将训练经验整理为小型知识库可显著提升弱模型表现，GPT-4o 接入约 20 条知识后接近 Claude Opus 5，说明结构化知识注入是低成本提效路径。产品侧可考虑把训练配方推荐做成知识库增强而非纯 prompt 方案。

• 构建面向训练配方选择的轻量知识库，将经验条目结构化后注入模型，替代单纯增加推理算力。
• 开发训练方案预测工具，让模型给出候选配方及置信度，并由人类研究者复核架构相关决策。
• 围绕数据属性建模，补充数据侧特征输入，提升模型对数据集差异的敏感度。
• 将 ArchitectureIQ 类评测纳入模型选型流程，作为评估模型是否适合辅助 AI 研发的参考指标。

• ArchitectureIQ 基准的题目规模、合成数据集生成方式和统计显著性未在证据中说明。
• GPT-6 Astra、Claude Opus 5 等模型名称对应的具体版本与可用性未确认。
• 20 条知识库的具体内容与构建方法未披露，能否复现其增益尚不明确。
• 人类研究者样本量、背景与评测条件未知，66.0% 与 65% 的可比性需进一步验证。