通过层次推理与语句级目标奖励增强大语言模型的社交智能

arXiv AI 发布了一篇论文，介绍 TSR 框架和 LHRL-VGR 算法，用于提升大语言模型（LLM）在社交对话中的目标达成能力。该框架受计划行为理论启发，将社交对话分解为高层策略规划和底层语言执行。实验表明，基于 Qwen2.5-7B 微调的智能体在 SOTOPIA 基准上，目标完成成功率比 GPT-4o 基线高 7.32%。

此前方法对所有语句采用统一目标奖励，忽视每轮对话的具体目标与策略合理性。TSR 框架引入层次推理，结合方差门控奖励，能在多智能体社交协商中更有效地平衡目标完成与策略遵循，推动 LLM 在动态社交场景中的表现超越 GPT-4o。

TSR 将对话分为高层策略和低层执行，类似计划行为理论。LHRL-VGR 算法根据目标达成分数的方差动态分配奖励，平衡目标完成与策略遵循。这种机制使模型能根据每轮对话的具体情况调整策略，从而在长期目标协调中表现更好。

该技术可应用于需要复杂社交交互的 AI 产品，如谈判助手、客户服务机器人或虚拟社交伙伴。通过提升目标达成率，能改善用户体验和业务成果。但论文未提供部署成本、推理速度等数据，开发团队需自行评估。

• 将 TSR 框架集成到客服或销售对话系统中，以提升协商任务的成功率。
• 基于 LHRL-VGR 算法开发专用微调工具，供开发者在自有对话场景中应用。
• 在社交机器人等产品中引入多智能体协商能力，增强交互的自然度和目标导向性。

• TSR 框架在除 SOTOPIA 之外的其他社交基准上的泛化表现如何？
• 该方法的计算开销和推理延迟是否适合实时应用？
• 在实际商业场景中，目标完成率的提升能否转化为可量化的商业价值？
• Qwen2.5-7B 之外的模型架构（如更大或更小的模型）上是否同样有效？