PotARCin：抽象推理任务中技能习得的多维评测

研究提出 PotARCin 基准，在 ARC 标准评测之外增加五个维度：定义、分类、受限生成、编辑与反转，并用程序化方法为给定 ARC 任务动态生成新实例与变换输入。在 ARC-AGI-1 训练集上评测五个前沿模型，结果显示标准评测与 PotARCin 之间存在 25 至 52 个百分点的性能差，多维评测还改变了原本准确率相近模型的排序。

此前 ARC 只以“输出正确网格”这一单一标准衡量抽象推理，容易高估模型能力。PotARCin 显示同一批模型换用多维评测后分数大幅下降且排名重排，还暴露模型在已正确陈述规则时仍自相矛盾，说明单点准确率不足以代表真实的抽象技能习得。

ARC 的固定输入输出对数量有限，无法覆盖规则理解的其他侧面。PotARCin 用程序化方式围绕同一任务生成新实例并变换输入，从定义、分类、受限生成、编辑、反转五个角度发问，把“会不会做题”拆成“是否理解规则”。这种动态采样既扩充了评测样本，也检验了模型陈述规则与执行规则之间的一致性。

对做推理类模型评测的团队，单看基准准确率可能给出误导性结论，需要在选型与版本对比中引入多维评测和自一致性检查。数据与评测流程需支持按任务程序化生成样本，评测成本上升但可减少上线后规则泛化失败的风险，P-ARC 上 1 至 8% 的表现也提示相关能力仍处早期。

• 在模型选型流程中引入 PotARCin 式多维评测，替代仅看 ARC 准确率的单指标对比
• 为自有任务构建程序化实例生成与输入变换管线，用于回归测试规则理解是否稳定
• 增加“自一致性”检查项，验证模型陈述的规则与其实际执行是否一致
• 面向抽象推理场景设计分层验收标准，把定义、分类、生成、编辑、反转分别设阈值

• PotARCin 的程序化生成方法能否迁移到 ARC 之外的推理任务或行业数据集
• 五个维度之间的性能差异分布如何，哪些维度是主要失分来源
• 多维评测得分与真实业务任务表现之间的相关性尚未被验证
• P-ARC 仅 1 至 8% 的准确率是否部分源于评测形式本身对模型不友好