当界面开口说话：面向主动交互的数据感知生成式 UI 框架

该 arXiv 论文提出 GenUI-Harness，一个多智能体框架，由负责信息检索与任务执行的 Tool Agent 和负责识别歧义、生成前端结构化界面代码的 GUI Coder Agent 组成。为应对交互式 UI 生成中强化学习奖励难以验证的问题，作者提出 Dynamic UX 与 Reward Auditor，并发布 UI-TAU Bench 基准（10 个真实领域数据库，Lite 300 任务、Full 1000 任务）。结果显示在 Lite 上相对 smolagents 平均 Pass@3 提升 4.48 个百分点，4B 模型从 9.33% 提升至 58.00%。

此前的生成式 UI 研究多聚焦静态或单轮界面生成，且缺乏可验证的交互奖励。该工作把主动交互、代码生成与强化学习结合，并用公开基准量化效果，还显示小模型经训练后可超过更大前沿模型，为 UI 生成的可训练性提供了新证据。

机制上，Tool Agent 负责调用工具、检索数据与执行任务，GUI Coder Agent 将结构化信息转为前端代码，并主动识别用户输入中的歧义。训练难点在于 UI 生成奖励需实际执行且成本高，而 LLM-as-a-Judge 易被奖励黑客攻击。Dynamic UX 在单一沙箱中完成动态交互与奖励采集，Reward Auditor 则监控奖励分布，将诊断模式沉淀为共享评分标准。

对产品与研发团队而言，这意味着可将复杂任务从纯文本对话转为动态生成的轻量界面，降低用户认知负担与输入成本。团队需具备多智能体编排、前端代码生成与可执行奖励评估能力，并重视歧义识别与评分校准，否则容易出现过拟合奖励或不可用界面。

• 在客服、数据分析或表单填写场景，试点由 GenUI-Harness 类框架生成的动态界面，替代长文本多轮问答。
• 构建内部 UI 生成评测集，参考 UI-TAU Bench 的任务划分与领域数据库设计，用于回归测试与模型选型。
• 为奖励审核引入类似 Reward Auditor 的元评分机制，降低用 LLM 打分带来的奖励黑客风险。
• 针对小参数模型做交互式 UI 生成的微调或强化学习，验证其能否在特定垂直任务上替代更大模型。

• GenUI-Harness 在 Full 1000 任务集上的表现如何，是否有完整对比数据？
• UI-TAU Bench 所依赖的 10 个真实领域数据库具体覆盖哪些公开数据源与任务类型？
• Dynamic UX 沙箱在真实生产环境中的性能、安全与成本开销如何？
• 论文摘要末尾被截断的 revision 或补充实验是否改变主要结论？