LLM-jp-4 技术报告：日本主权大模型系列

arXiv 发布 LLM-jp-4 技术报告，介绍该日本主权大模型系列，包含 8B dense 模型与 32B-A3B 混合专家模型，二者均从零开始在约 12 万亿 token 上训练。团队制定了训练数据、外部模型与软件的明确筛选标准，公开开发过程以支持独立验证与复现。评测显示其较此前 LLM-jp 模型有显著提升，与同规模开放权重模型表现相当。

此前 LLM-jp 系列能力有限，而 LLM-jp-4 同时给出 12 万亿 token 从零训练、双层架构以及明确的数据与软件筛选标准，并公开开发流程。相较过去只公布结果的模型，这次把可复现与独立验证作为发布前提，使主权模型的透明度成为可比较的指标。

报告将透明度落到可操作层面：先为训练数据、外部模型与软件设定筛选准则，再公开开发过程，使外部团队能按同一标准复现；8B dense 与 32B-A3B MoE 两种规模并行，则用不同推理成本覆盖不同部署场景，并据此与同规模开放权重模型做横向比较。

对产品与研发团队而言，可复现的训练数据与流程标准降低了基于该模型做日语微调和二次开发的验证成本；32B-A3B 的 MoE 结构在推理成本上提供另一档选择，便于按延迟与预算在 8B 与 32B 之间取舍。

• 基于公开的筛选标准与开发流程，复用其数据与软件选择规范来搭建自身的模型评估基线
• 在日语场景中分别测试 8B dense 与 32B-A3B 的推理成本与延迟，确定产品侧的模型档位策略

• 报告未给出具体的评测基准、分数与对比模型名单
• 12 万亿 token 的数据来源、许可与合规情况尚未披露
• 模型权重、代码与数据是否会实际开放以及开放范围未明确
• 32B-A3B 的实际推理成本与部署要求未有量化数据