上下文中关系结构的几何：语言模型按提及顺序定位事实

一篇 arXiv 论文提出 ordinal addressing hypothesis：给 LLM 一组事实后，模型用事实在上下文中的出现顺序来定位被问及的事实，而非用问题中的名称。作者用切换提问对象时隐藏状态的变化构造 ordinal vector，并在 Qwen、Gemma、Llama 上观察到该向量按出现顺序组织、可被加性操控、位于低秩子空间，且在预训练早期形成、从 1.5B 到 32B 参数均存在。

此前通常认为模型靠问题里的实体名称检索上下文事实；该研究给出可测量的状态向量证据，说明检索键可能是事实的位置顺序。这改变了对上下文寻址方式的解释，也为分析和干预模型如何选取上下文信息提供了新的操作对象。

论文把“问题从问 Alice 改为问 Bob”时隐藏状态的差异平均成一个 steering vector，称 ordinal vector。该向量指向被问事实在上下文中的出现位置，形成与具体上下文无关的 fact address；问题把状态移到对应地址，而事实内容仍由上下文提供。地址按提及顺序排列，可加性操控，并集中在低秩子空间。

若定位机制确实按出现顺序，长上下文提示中事实的排列位置会直接影响模型能否取到目标信息，研发在构造 RAG 拼接、多事实提示与工具返回结果时需要重视顺序，而非只优化名称匹配。由于地址集中在低秩方向，理论上可用轻量向量干预或检测来诊断上下文检索失败，但证据未给出直接工程收益。

• 在 prompt 编排与 RAG 结果拼接中，将最可能与问题相关的事实放在靠前位置，测试是否提升命中率。
• 用 ordinal vector 作为诊断信号，检测模型是否定位到预期事实，辅助定位上下文丢失问题。
• 针对多事实提示设计顺序消融实验，评估同一批事实换序后的回答稳定性。
• 在微调或推理阶段尝试低秩方向干预，验证能否纠正模型答错事实的问题。

• 该结论是否在其他模型家族、其他语言与更复杂命题关系上成立，尚未确认。
• ordinal vector 与名称检索机制在什么条件下各自主导，论文未给出完整边界。
• 能否把该机制稳定转化为提示编排或推理干预的产品能力，仍缺少验证。
• 低秩子空间和事实地址的具体训练数据条件尚不清楚。