更好的演示文稿，还是不同的评委？评估企业与投资银行中的智能体框架增益

一篇论文回顾性研究了一个智能体框架的开发过程，该框架组合了 27B 语言模型、财务计算、叙事模板与校验检查，用于生成企业与投资银行中的演示文稿。在移除模板标记的共享会话纯文本评分中，五个评委给完整系统的评分比同一模型直接依据简短提示生成的文稿高 20.4 至 33.6 分（满分 95 分），全部十七项开发交付物均被评为更高。

此前判断智能体框架是否有效，多依赖 LLM 评委的分数，但该研究显示同一批评委在重复评分未改动文稿时分数也会变化，且对最终文稿排名的共识低于汇总评分，这意味着高分未必代表文稿更好，而可能来自评分标准或评委本身的漂移。

该框架把 27B 语言模型与财务计算、叙事模板和校验检查组合，LLM 评委既引导工程改动也评估产出文稿。由于评委与优化目标同源，评分可能随提示、模板标记或评委状态变化，导致提升幅度在小范围内难以与评分噪声区分。

对产品与研发而言，把 LLM 评委分数直接当作质量指标存在风险，尤其在小幅迭代场景下可能误判方向。团队需要在评分前固定评委与评分条件、保留人工或独立标准复核，并将评分波动纳入实验设计，否则可能为提升分数而非改进文稿投入资源。

• 在金融文稿生成流程中，建立固定评委与冻结评分模板的回归测试集，用于区分真实改进与评分漂移。
• 为智能体框架加入财务计算与校验检查的显式审计记录，使评分之外可人工核查数据勾稽与来源追溯。
• 针对最终交付文稿引入人工抽查或独立评分环节，避免仅凭 LLM 评委排名决定上线版本。
• 记录重复评分的分数波动区间，并在产品指标中设置最小可检测改进阈值。

• 27B 语言模型的具体身份与框架实现细节未在证据中说明。
• 研究仅覆盖回顾性观察，未提供前瞻性对照或线上业务结果。
• 评委人数、评分协议与重复评分次数等实验条件不完整。
• 评分提升是否对应客户或信贷决策中的实际质量改善，证据未涉及。