arXiv AI71
一项 arXiv 论文提出按六类风险语言及其严重程度评估面向患者的医疗问答模型,并用三个 LLM 组成的评审团打分。在 K-QA 的 200 条真实患者问题上测试六个 7-9B 模型后发现,风险语言与事实幻觉率在统计上相互独立,医疗微调没有降低总体风险,只是改变了风险类型分布。
为什么值得看此前医疗 LLM 评估主要看事实正确性,而该研究显示事实正确不等于安全:回答可以事实有据,却给出可能导致伤害的指令。这为产品上线前的安全评估提供了一个新维度,也说明仅靠医学微调不足以解决面向患者场景的风险。
arXiv AI64
论文针对企业零售工作流提出 RetailBridge,一个由 persona 驱动模拟生成的组合式零售基准,要求智能体在结构化产品与订单记录、非结构化咨询与评论等异构来源之间链接实体和中间答案。作者同时提出 RetailRAG 框架,包含自动 schema 简介、按来源路由的计划链和诊断式计划修订。实验显示 RetailRAG 在所有评估维度上持续优于现有 agentic RAG 基线;在 RetailBridge 上评估十个 LLM 骨干后,多源证据链被识别为跨提供方和模型规模的主要瓶颈。
为什么值得看现有 agentic RAG 基准较少覆盖企业零售中跨结构化与 unstructured 来源的证据链,本文用组合式基准把这一场景变成可控制、可比较的评测对象,并给出一个参考系统。其结论指向:仅扩大模型规模不足以解决多源串联,跨源编排需要被显式设计。
arXiv AI64
arXiv 论文提出 BrandEval,一个面向产品危机沟通的双轨基准。BrandEval-Static 评估利益相关方感知的战略分析能力;BrandEval-Dynamic 则在名为 BrandPolis 的多智能体沙盒中,用消费者反馈、竞品回应和信任风险轨迹来压力测试响应策略。作者还构建了中文危机响应数据集 BrandSRD,并用 Strategic Rationale(SR)实现参考 Strategic Agent。测试发现,静态战略质量虽与部分终局结果相关,却无法可靠预测波动与延迟恢复,动态压力测试还暴露出策略在操纵性内容或依据薄弱时的尾部风险失败。
为什么值得看现有危机沟通评测多是静态单轮,难以反映公众反馈与竞品行动如何随时间重塑信任。该工作把评测扩展到长期风险轨迹和多方互动,并补充中文数据,为风险敏感场景提供更接近实际传播环境的检验方式。
arXiv AI64
论文 FlowMaker 针对生成式 AI 工作流提出联合优化方法:用户提交任务后,系统同时选择工作流结构、模型分配和部署配置,并依据动态集群状态即时决定是否复用已部署的 LLM。作者称,与包括 Murakkab 在内的现有基线相比,FlowMaker 将 goodput 最多提升 10.14 倍,成本最多降低 2.77 倍。
为什么值得看现有系统通常单独优化工作流结构、模型选择或部署配置,或提前固定这些决策;FlowMaker 将它们放在动态负载下联合决策,并把已部署模型的即时复用纳入调度,针对的是成本与有效吞吐同时受影响的部署环节。
arXiv AI63
论文提出 Wellocate 模拟实验基准,在生成景观与经过打乱的 GB1、PhoQ 蛋白数据集上,测试五个语言模型作为无工具、仅依赖提示历史的极简 agent,在固定预算下于探索新候选和复测确认之间做选择。结果显示模型在两个方向上误分配测量预算:三个模型过度确认、把多数预算用于复测;一个在生成景观上确认不足、过度信任单次读数,且所有模型最终选择都不如基础脚本策略。
为什么值得看以往对 agent 的评估多集中在信息检索或代码任务,这里把评估放到带噪声读数的实验预算分配上,并给出真实蛋白数据集与已知真值的对照环境。它揭示了“多测几次”并非默认正确:过度确认与确认不足会同时出现,且基础脚本策略能胜过所有被测模型。