链式递归语言模型用于多迭代推理

该论文提出Chained Recursive Language Models（Chained RLM），一种推理时架构，通过反复调用同一模型，每次作为新的推理根，接收原始问题、上下文和紧凑摘要及黑板，而非完整对话历史。目的是将长上下文任务分解为部分任务，中间产物可被后续推理检查、修正和扩展。论文描述了系统模型、交接机制、工件工作区及评估协议，并研究新鲜上下文工件延续相比直接LLM回答是否带来准确率提升。

现有LLM长上下文推理受单次推理轨迹需同时探索上下文、存储中间状态、验证证据和生成答案的限制，早期错误易传播。Chained RLM提出将任务分解为多个阶段，每阶段由新鲜推理根处理，允许多次检查修正，可能提升涉及提取、计数、排序或多跳推理任务的准确性，代表了推理时架构的新方向。

Chained RLM每次调用模型时，不继承完整对话历史，而是接收原始问题、上下文、紧凑纯文本摘要、黑板和任务特定工件。这种设计迫使模型每次从原始上下文出发，基于前任的摘要和工件进行推理，从而避免中间错误在长对话中积累，并允许在后续迭代中检查修正中间步骤。

该架构可能影响需要复杂推理的应用，如文档问答、数据分析等，通过分解任务提升准确性，但会增加模型调用次数，可能提高推理成本和延迟。产品团队需权衡准确性提升与性能开销，考虑在关键推理场景采用此架构。

• 在需要多步推理的问答产品中，集成Chained RLM，通过分解任务提升准确率
• 开发基于Chained RLM的工具，允许用户在复杂分析中查看中间推理步骤，增加透明度和可控性
• 针对长文档处理场景，构建利用Chained RLM进行分段推理的API，提供可校正的推理流程

• Chained RLM相比直接LLM回答的准确率提升具体有多大？
• 增加推理迭代次数带来的性能开销（延迟、成本）是否在可接受范围内？
• 该架构是否适用于所有类型的长上下文任务，还是仅适用于特定类型的推理任务？