行为特质泄漏进偏好：诊断 LLM 用户模拟器中的特质干扰

一篇 arXiv 论文指出，基于 LLM 的用户模拟器原本让偏好属性决定看什么、行为活跃度属性决定浏览时长，但模拟中这种独立性会崩塌：活跃度被放大后扭曲偏好边界，用户被迫与不匹配条目互动以维持浏览，满意度分数随页数膨胀，导致推荐评估偏向属性分布而非推荐器真实表现。作者提出 PQA，用个性化质量锚点在翻页前判断页面是否符合用户内在偏好标准，从而主动退出低质量页面。

此前用 LLM 模拟用户做离线推荐评估，默认注入的偏好与活跃度两类属性互不干扰，因此把模拟出的满意度当作推荐性能信号。该论文证明这一假设在模拟中不成立，活跃度会污染偏好判断和评分，让评估结果系统性地偏向某些属性分布。这动摇了模拟器评估的可信度前提，并给出可复用的缓解方法。

LLM 在生成行为时并不严格按属性分区，活跃度这类行为特质会泄漏进偏好判断：为延长浏览，模拟器倾向于接受本来不匹配的条目，偏好边界被拉宽；页面数增加又抬高满意度，形成活跃度驱动而非质量驱动的评分。PQA 把判断拆到页面级，用个性化锚点先判断当前页是否达标，不达标就提前退出，使活跃度只在符合偏好的页面内调节浏览深度。

对用 LLM 模拟用户做推荐或搜索离线评估的团队，这意味着现有评测分数可能依赖模拟器的活跃度设置而非系统质量。研发需检查模拟器属性配置是否交叉污染，并在评测流程中引入页面级质量判断或类似 PQA 的退出机制；否则 A/B 前的离线结论可能给出错误方向，浪费后续迭代成本。

• 在自建 LLM 用户模拟器中加入页面级质量锚点，替代仅靠浏览深度判定满意度的评分逻辑。
• 对现有离线评测集做一次活跃度扰动测试，量化评分随浏览页数膨胀的幅度。
• 将 PQA 的提前退出机制接入推荐评估流水线，输出偏好匹配度与浏览深度的分离指标。
• 基于论文开源代码做小规模复现，验证在自有品类数据上特质干扰是否存在。

• PQA 在真实业务推荐数据上能否同样缓解评估偏差，证据仅来自论文实验。
• 个性化锚点的具体构造方式和标注成本论文摘要未说明，落地成本待确认。
• 特质干扰是否也存在于搜索、广告等其他 LLM 模拟评估场景，尚无证据。
• 该方法对模拟器的额外推理开销与评测延迟影响未在证据中给出。