PetriBench：面向动态状态空间的 LLM 推理基准

arXiv 发布论文提出 PetriBench，一个基于 Petri 网、自包含且可扩展的基准，用于评估 LLM 在动态状态空间中的推理能力。该基准按范围与时间跨度分为四类任务，并设 Easy、Medium、Hard 三级，按结构复杂度递增生成，并以精确真值评判。在多款闭源与开放权重模型上，准确率随难度上升而持续下降，较难实例暴露出更明显的任务专属能力差异；测试时计算量能提升表现，但与不同推理任务的交互方式不同，程序化生成则随结构复杂度呈现平滑扩展。

既有基准多把推理拆成孤立技能、依赖外部知识或难以扩展；PetriBench 转而用成熟的 Petri 网形式化并发与分布式系统，把动态状态空间纳入统一评测，并配合精确真值与程序化生成，使难度与规模可连续调节。这为比较不同模型、不同推理任务的能力边界和扩展行为提供了更可复现的参照。

Petri 网可形式化描述并发、同步与状态转移，因此能生成带精确真值的动态状态推理题。基准按任务范围与时间跨度划分四类，并通过增加结构复杂度构造三个难度等级；程序化生成避免了人工标注成本，也使实例规模与难度可平滑扩展。测试时计算量的收益因任务而异，说明推理表现不只取决于算力投入，还受任务结构影响。

对做 LLM 产品与研发的团队，此基准提示：评估模型不能只看静态问答准确率，还需覆盖动态状态与并发推理场景；选型时应按自身业务对应的任务族和难度分层测试，并权衡测试时计算量的成本收益。若产品涉及流程编排、分布式系统排障或多步状态追踪，该基准可作为验收或回归测试的参考框架。

• 将 PetriBench 的四类任务与三级难度映射到自身业务场景，建立模型选型与版本回归的内部评测集。
• 针对状态追踪、流程编排类功能，引入动态状态空间测试用例，作为上线前的验收指标。
• 记录不同模型在测试时计算量下的准确率与成本曲线，为推理预算配置提供依据。

• PetriBench 的具体任务族划分标准与公开数据集是否开放下载，尚未在证据中说明。
• 测试时计算量与各任务交互差异的具体数值和适用边界未给出。
• 基准结果对真实业务场景的迁移效度尚未验证。
• 参与评测的模型清单、版本与评测时间未在证据中列明。