重新思考角色保真度评估：通过结构化行为推断检验大语言模型的人格理解

论文提出 PRISM 框架，将大型语言模型的角色保真度评估重构为结构化逆向推理任务，基于系统功能语言学分解为任务框架、人际立场和语言风格三个维度，在角色条件化标签空间估计证据。实验显示 PRISM 比传统整体评判更准确稳定。

此前依赖整体 LLM 评判或静态心理测量清单，无法捕捉动态对话中依赖上下文的保真度。PRISM 将评估过程分解为可审计的维度，提供更可靠、可解释的替代方案，可能影响角色扮演类产品的评测标准。

PRISM 借鉴系统功能语言学，将保真度拆解为任务框架、人际立场、语言风格三个功能维度，将评估任务从整体打分转换为在限定标签空间内的逆向推理，通过分维度证据聚合形成可解释的评判。

对依赖角色一致性的产品，如虚拟助手、游戏 NPC、教育陪练，可引入 PRISM 替代主观评估，提升角色行为一致性检查的可信度和效率，减少人工抽检成本；但需验证其在不同模型上的通用性。

• 在角色扮演类产品中集成 PRISM 作为内测工具，自动化检测角色一致性缺陷。
• 基于 PRISM 维度开发可解释的角色一致性报告，供运营或创作者优化角色设定。
• 将 PRISM 指标用于训练数据筛选，优先选择保真度高的对话样本。
• 探索将 PRISM 扩展至客服或销售场景的拟人化评估。

• PRISM 在非英文或跨文化背景下的表现如何？
• 维度权重是否需针对不同角色类型调整？
• PRISM 在多大程度上能替代人工评估？
• 该框架对长上下文或超长对话的稳定性如何？