基准陷阱：AI评估中的权力结构与不公

一篇arXiv论文指出，AI基准测试并非中立评估工具，而是影响竞争、权力和研究优先级的社会技术产物。基准测试通过排行榜奖励顶尖性能，带来声望、引用和资助，但随开发成本上升，收益集中于产业资助的实验室。论文用Young的压迫理论分析，认为当前基准实践可能造成系统性不公，限制研究路径。

该论文将基准测试从技术工具重新定义为权力机制，揭示其可能固化产业巨头优势，扭曲研究方向。此前讨论多关注基准有效性，本文首次系统引入社会公正视角，提示非产业参与者需重新审视参与基准竞争的成本与收益。

基准测试通过标准化评估和排行榜形成声誉循环：高排名吸引人才、资源和合作，进而提升后续竞争力。开发成本上升使小实验室难以追赶，网络效应使强者愈强。正常化实践即使无恶意也可能导致结构性不公，并压缩替代性研究路线。

对产品团队，若依赖主流基准优化，可能忽略真实用户需求，且陷入军备竞赛。研发预算分配需更谨慎，评估指标应多元化。对非产业实验室，参与排名可能回报递减，需权衡资源投入与学术影响力。

• 设计面向特定应用场景的定制化评估集，避开通用基准的局限
• 开发透明化、可复现的评估流程，作为差异化卖点
• 探索与社区共建的开放基准，分散产业主导权
• 提供基准结果解读服务，帮助用户理解指标适用性

• 论文是否提供了实证数据支撑论点？
• 产业实验室是否已对批评做出回应？
• 哪些具体基准实践被认为有害？
• 是否有替代评估体系的案例被提出？