对 TypeSafe AI 商用 System One 模型 Jev 的评测与基准测试

论文对 TypeSafe AI 的商用 System One 模型 Jev（jev-1.13.0）进行零样本评测。Jev 不生成文本，而是针对状态和结构化问题返回固定选项、量表位置或概率。研究覆盖分类、路由、自然语言推理、阅读理解、常识推理、内容审核、法律条款分析和量表评分等 37 个数据集，使用固定模板和完整评测集，共 346,009 次请求，成本不足 10 美元，并以 Qwen3.8-27B 和 Gemma-4-E4B 作为对照。

此前对小型决策模型的评测多集中在文本生成能力或单一任务，缺少跨多类信息处理任务的统一比较。该论文用 37 个数据集、固定模板和完整评测集，在不到 10 美元成本下完成大规模评测，并引入两个对照模型，使商用专用决策模型的准确率、校准度和跨语言表现可以被直接比较，也让低成本评测流程本身成为可复用的方法。

该类模型把信息访问管线中的小决策建模为给定状态和结构化问题后从固定选项中选择、给出量表位置或输出概率，从而绕开自由文本生成。论文用每数据集一个冻结模板做零样本评测，并将 Qwen 和 Gemma 的下一 token 概率映射到同一选项空间，使不同模型在完全相同的请求上可比。概率校准和选择性预测进一步说明输出可用于分层决策。

对信息访问类产品而言，路由、事实核查、内容审核和量表评分等环节可以直接调用此类模型，而非依赖生成式模型。346,009 次请求成本不足 10 美元，意味着大规模离线评测和线上小决策的边际成本极低。校准概率支持选择性预测，使产品可以只在置信度高时自动执行，其余转人工或升级模型。

• 在查询路由或内容审核环节接入 Jev 类模型，用校准概率设置自动执行阈值，低置信度请求转人工审核。
• 利用论文的冻结模板与完整评测集方法，为自有业务数据集构建低成本回归评测流程。
• 针对二分类场景，在训练数据上调整概率阈值，以提升 micro-F1，而非直接使用固定 0.5 阈值。
• 对低资源语言、细粒度标签和量表评分环节保留人工或更强模型兜底，避免直接依赖该类模型。

• 证据未给出 Jev 在 37 个数据集上的完整逐项得分，仅列出部分结果。
• 论文摘要未说明低资源语言、细粒度标签和量表评分上三类模型的具体下降幅度。
• Jev 的商用定价、延迟和吞吐等部署指标在给定证据中没有披露。
• 校准概率在分布外数据或业务特定分布上的表现尚未被证据确认。