生物推理模型何时真正使用其生物输入？

一项 arXiv 论文测试六个生物推理模型是否真正使用生物输入。作者在固定查询、只扰动单一生物输入的条件下，构造证据冲突，并用线性探针分析语言模型接收的表示。结果显示，Evo2 与 ESM3 对 BioReason、BioReason-Pro 的评测任务贡献很小；打乱 DNA 序列几乎不改变疾病预测准确率，冲突场景中两模型分别有 97.9% 和 99.7% 跟随文本。

此前评测通常把基准准确率直接当作模型使用生物输入的证据。该研究通过扰动与冲突实验指出，准确率提升并不等于生物输入被有效利用，因为基础模型表示虽含任务相关信息，却未必转化为下游性能。

研究将生物基础模型表示与文本拼接后输入 LLM，再单独扰动生物输入或制造表示与文本不一致的冲突，并训练线性探针检验表示是否编码任务信息。若模型在冲突中始终跟随文本，说明性能主要由文本通路而非生物表示驱动。

对做生物 AI 产品的团队，评测不能只看总体准确率，应加入输入扰动和冲突测试，区分模型真正依赖的信号来源，否则可能高估生物基础模型集成带来的增益，并误导数据与模型选型。

• 在生物推理产品评测中加入输入扰动与表示-文本冲突测试，量化各输入通路的真实贡献。
• 对拟集成的生物基础模型先做线性探针验证，确认其表示编码任务信息后再决定是否接入。
• 针对以文本为主的推理链路优化提示与文本质量，而非盲目堆叠多模态生物输入。

• 该结论是否只适用于论文评测的 DNA、蛋白质和单细胞任务，能否推广到其他生物任务？
• BioReason 与 BioReason-Pro 在冲突中跟随文本，是训练数据偏差还是架构限制导致的？
• 研究未披露可信来源数量，结论能否在其他独立复现实验中得到验证？
• 如何设计训练或后训练流程，使模型真正利用生物基础模型表示而非文本捷径？