递归语言模型

于红博

摘要: 我们研究允许大型语言模型（LLMs）通过推理时间缩放来处理任意长提示的方法。我们提出了递归语言模型（RLMs），这是一种通用的推理策略，将长提示视为外部环境的一部分，并允许LLM对提示的片段进行编程检查、分解和递归调用自身。我们发现，RLMs成功处理了两个数量级超出模型上下文窗口的输入，并且即使对于较短的提示，也在四个不同的长上下文任务中显著优于基本LLMs和常见的长上下文脚手架的质量，同时每次查询的成本相当（或更便宜）。

更新时间: 2025-12-31 03:43:41

领域: cs.AI,cs.CL

下载: http://arxiv.org/abs/2512.24601v1