OmegaUse-OfficeVal：基于经济化基准评估LLM代理的办公套件长周期任务

OmegaUse-OfficeVal基准测试引入，用于评估LLM代理在长周期办公套件任务中的表现，包含100个任务，平均需2.32小时人力完成，并配对经济信号（人力和价格代理）。研究发现LLM虽更便宜快速，但质量未达人类水平，代码和数据集已开源。

现有基准缺乏对办公套件任务成本与质量的均衡评估，此基准首次引入任务级经济信号，可直接比较人工与LLM的投入产出，为自动化办公提供量化参照。

通过任务价格代理和人力时间作为经济信号，结合代码验证器实现稳定的质量评估，使LLM的推理成本与人类劳动成本可对比，从而客观衡量代理的经济价值。

对办公自动化产品研发有直接影响：可基于此基准优化LLM代理的提示和推理策略，平衡质量与成本；同时为成本核算和用户定价提供参考依据。

• 研发办公套件专用LLM代理时，使用OmegaUse-OfficeVal进行内部测试，对比推理成本与人力成本，优化定价策略。
• 基于基准中100个任务提炼典型工作流，改进代理的任务分解和错误处理能力，以提升交付质量。
• 利用经济信号数据，开发成本视图仪表盘，帮助用户直观了解自动化节省的时间和费用。

• 基准任务是否覆盖不同行业和语言场景？
• LLM代理在哪些具体任务类型中质量与人类差距最大？
• 推理成本的计算是否包含硬件和API调用等全部开销？