技术文档协作中的句子特异性打分：一项跨领域迁移研究

一项 arXiv 研究审计了技术文档句子特异性打分工具的效果，测试生成后打分的分数能否用于在固定的 LLM 改写方案中做选择。研究覆盖 Wikipedia 和三个技术文档语料，对比 SpeciTeller 与 Ko 等人的领域适配预测器，发现两者给出不同语料排序，同句排名一致度在 -0.066 到 0.510 之间，严格过滤与长度调整无法消除差异。在 Gemma 集合中，SpeciTeller 排序使方向有效选择从 71.7% 升至 83.3%；在 GPT-OSS-120B 集合中从 51.7% 升至 56.7%，但其主要单分数区间均包含零。

此前特异性打分常被视为可跨语料直接复用的通用能力。该研究表明同一分数在不同预测器和候选集合下排序与决策价值不一致，意味着把打分器当作通用选择标准缺乏稳定依据，评测结论高度依赖所用模型与候选集。

特异性分数是预测器对语言细节数量与精确度的估计，而非客观属性。通用领域预测器与目标领域适配预测器在语料分布偏移下会形成不同打分尺度，过滤和长度归一化只改变分布，不解决尺度定义差异，因而排序结果与相对排名随之变化。

若团队在产品中用特异性打分自动筛选或排序文档改写结果，需按实际语料和候选模型重新验证分数与决策方向，不能直接沿用公开实现或跨语料结论；评测应报告预测器版本、过滤规则和置信区间，否则可能把无效提升当成收益。

• 在自身技术文档语料上建立小规模人工标注基准，比较 SpeciTeller 与适配预测器的同句排序一致度后再决定是否上线。
• 对文档改写选择流程做 A/B 验证，分别用打分排序与随机/固定顺序，确认方向有效选择率提升是否显著。
• 将打分器的预测器版本、过滤规则与候选集纳入评测记录，形成可复现的内部基准配置。

• 在 GPT-OSS-120B 上观察到的提升是否在更大样本或不同语料中稳定并显著？
• SpeciTeller 相对适配预测器的优势是否来自打分尺度而非信息质量？
• 该结论是否适用于中文或其他非英语技术文档场景？
• 生成后打分能否与生成时约束结合以提升选择可靠性？