- 类型
- 论文
- 来源
- arXiv AI
- 发布
- 2026年8月27日 15:00
- 状态
- 单一信源
发生了什么
BALMS 是首个针对纵向心理健康感知的 LLM 智能体系统基准,涵盖 3 个真实纵向数据集、2 类任务和 3 种智能体范式,并评估了 5 种开源和闭源大模型。研究发现零样本智能体性能很少超过简单均值基线,思维链提示虽能改善推理但无法保证时间接地和数值正确性,凸显了纵向心理健康智能体的局限。
为什么重要
此前 LLM 驱动的健康智能体主要处理短期、检索式查询,缺乏对长期信号推理并预测幸福感分数的能力评估。BALMS 首次系统化提供了这样的基准,并揭示现有智能体在纵向推理上的不足,为该领域设定评估标准,推动更可靠的长期心理健康监测智能体的研发。
底层逻辑
BALMS 通过将真实纵向可穿戴数据与幸福感评分配对,设计封闭式预测和理由生成两类任务,并用 LLM-as-Judge 自动评分。它比较多种智能体范式,发现零样本智能体仅在使用更强骨干或紧凑语义特征时优于均值基线;思维链虽改善推理,但不能保证时间接地和数值正确性。这揭示了智能体在选择性检索历史、接地时间证据和可解释行为特征推理上的关键机制短板。
产品与商业机会
对心理健康监测产品,现有智能体可能高估其长期预测能力,需引入基准测试。产品研发应关注特征工程和思维链调优,但需验证时间接地;部署成本因使用更强骨干而增加,需在性能与效率间权衡。
- 开发一个利用 BALMS 基准的评测工具,帮助健康应用团队快速评估其 LLM 智能体的纵向推理能力。
- 设计一个结合紧凑语义特征和思维链的混合推理模块,提升幸福感预测的数值准确性和时间接地性。
- 构建能选择性检索历史相关信号的记忆机制,减少无关信息干扰,提升推理效率。
- 提供基于 BALMS 的开放评测服务,为心理健康智能体开发者提供可视化性能报告和优化建议。
仍待确认
- BALMS 是否涵盖真实世界的多样性和个体差异,其基准结果能否泛化到其他心理健康场景?
- LLM-as-Judge 的评分方式是否可靠且与人类专家一致?
- 思维链提示在哪些具体任务或特征条件下才能真正提升时间接地性?