CorporateBench：大规模时间性知识库问答基准测试

CorporateBench 是一个面向大型语言模型（LLM）的企业级问答基准测试，包含超过 23 万份文档，覆盖信息提取和知识库查询两个维度，通过四个规模从 12 到 10000 名员工的合成企业进行评估。测试显示，当输入规模接近实际企业数据规模时，五个评估的 LLM 性能显著下降。

此前企业级 LLM 评估多依赖简化合成数据，且企业不愿共享内部数据，缺乏真实规模的测试基准。CorporateBench 首次提供接近企业通讯网络规模、且保证跨文档逻辑一致性的基准，填补了评测生态的关键空白，使企业能更准确地评估 LLM 在真实场景下的表现。

CorporateBench 通过从时间演化的知识库中采样生成合成企业文档，确保即使跨越数十万份文档也能保持逻辑一致性，这模拟了真实企业数据的复杂性和时间性。基准评估信息提取和知识库查询两个任务，以衡量模型处理大规模文档的能力。结果表明，随着输入规模增大，LLM 性能明显下降，揭示了当前模型在处理企业规模数据时的局限性。

企业客户在部署 LLM 处理内部文档时，可参考 CorporateBench 的评测结果，了解模型在大规模输入下的真实表现，从而选择更合适的模型或调整架构（如引入检索增强）来缓解性能下降。对于 LLM 开发者，该基准提供统一的测试标准，有助于针对企业场景优化模型。

• 开发基于 CorporateBench 的评测服务，帮助企业客户在采购前对比不同 LLM 的企业级问答能力，提供性能报告。
• 设计名为精调或微调工具的链式方案，利用小型企业文档集进行针对性优化，并搭配检索模块以提升大规模场景下的准确率。
• 将 CorporateBench 集成到现有 LLMOps 平台，自动生成大规模性能简报，辅助模型迭代决策。

• CorporateBench 是否包含多个行业类型的企业数据，以覆盖不同领域的知识特征？
• 五个评估 LLM 的具体名称是什么，其规模（参数数量）是否公开？
• 在超过 23 万文档的输入规模下，性能下降的具体幅度和原因是否有详细分析？
• 基准是否提供跨时间的推理任务，以检验模型处理时间敏感信息的能力？