PersonalBench：衡量大语言模型个性化中的作者署名差距

PersonalBench是一个新基准，用于评估LLM的个性化文本生成是否真实模仿目标作者风格。研究跨越50位作者、1000次生成和Qwen 3、GLM-4两个模型家族，发现个性化方法能产生作者差异化输出（LUAR AUC=0.918），但所有方法的LUAR相似度（0.484-0.508）均低于人类跨作者底线（0.626），无法跨越人机边界。LLM自身写作指纹占主导，各方法在LUAR上差异极小（跨度0.024），与LLM评判结果不一致，作者将其归因于特质提取与画像提取的循环性。PersonalBench被发布为校准的测量工具。

此前基准多衡量任务准确性或偏好对齐，而非输出是否真的像目标作者。PersonalBench首次用独立验证模型、法官和风格测量三视角，量化发现个性化方法虽能区分作者，但无法跨越人机写作边界，为行业提供了可校准的测量标准。

个性化方法通过调整推理时输出，使文本在统计上靠近目标作者，但LLM的固有写作指纹（如词汇、句法模式）仍占主导，导致生成文本与任何人类作者的相似度低于随机人类之间的相似度。LUAR验证模型能可靠识别作者（多帖AUC=0.96），而LLM评判的区分度可能源于特质提取和画像提取的循环性，产生虚假的区分印象。

对于使用LLM个性化写作的产品（如AI助手、内容生成工具），该方法意味着当前技术最多只能让输出风格略有区别，尚无法真正模仿特定用户或作者，可能影响用户体验和信任度。研发团队在评估个性化效果时，需避免依赖单一LLM评判，而应采用多维度验证，否则可能高估效果。

• 基于PersonalBench构建内部评估流程，用LUAR、LLM-judge和风格测量三视角验证个性化效果，避免单一指标误导。
• 探索调整推理时解码策略或融合作者风格Embedding，以缩小LUAR差距，目标超越人类跨作者底线0.626。
• 针对垂直场景（如营销文案、客服回复），收集目标作者写作样本，微调模型以增强风格模仿，但需用多帖验证。
• 开发可视化仪表盘，向用户呈现个性化接近度评分，管理用户期望并收集反馈优化。

• 该研究结果是否适用于更多模型家族（如GPT、Claude）和更长文本？
• 个性化方法在特定领域（如技术文档）中是否能突破人机边界？
• LUAR的跨作者底线是否稳定，是否受语料和语言影响？
• 循环性问题是否有解法，如独立特质提取与画像生成？