HARISSA：面向高效安全本地语言模型部署的推理时自检

arXiv 论文提出 HARISSA，利用模型自身隐状态做推理时自检。prefill 状态在生成前预测能否答对，answer 状态在生成后预测答案是否正确；模型经微调让两种状态都预测正确性，再用一个策略从最便宜到最贵逐级尝试作答，跳过预判失败的方式，并在最终答案被预判错误时转交人工。单模型设备上准确率距 chain-of-thought 一个百分点内，延迟低 2.7 倍；四尺寸服务器上准确率高于 FrugalGPT 与 Self-REF。

此前本地小模型遇到难题通常升级到云端，代价是放弃隐私与成本优势；另一路径是多花算力推理，但难以判断哪些查询值得。HARISSA 把效率与安全两类判断都放在本地模型自身隐状态上，不依赖云端，也不只靠外部规则。

机制是把正确性预测内化进模型：prefill 隐状态在生成任何 token 前给出预判，answer 隐状态在生成结束后复核。两者经微调对齐正确性标签后，同一策略按成本从低到高级联，预判失败则跳过该作答方式，最终答案预判错误则转人工，从而在延迟与错误风险间做取舍。

对本地部署产品，可用更低延迟接近 chain-of-thought 的准确率，并在无云端兜底时降低错误输出风险。研发上需增加正确性标注与微调环节，推理侧需实现级联策略与转人工接口；成本与延迟收益主要在单机单模型场景。

• 在本地端侧助手接入级联策略，按查询难度动态选择直答、推理或多步作答，降低平均延迟。
• 为预判错误的答案设计转人工或转云端复审流程，作为隐私敏感场景的兜底路径。
• 将 prefill 与 answer 两类自检信号做成可观测指标，用于监控本地模型上线后的答错率。

• 证据未给出 HARISSA 微调所需的数据规模、标注方式与训练成本。
• 四尺寸服务器场景的具体配置、对比基线与评测数据集未在证据中说明。
• 转交人工的判定阈值如何设定及其对用户体验的影响尚无数据。
• 该方案在不同模型家族与语言上的泛化能力未被证据覆盖。