迭代部署改善LLMs的规划能力

于红博

摘要: 我们展示了迭代部署大型语言模型（LLMs），每个模型在由先前模型部署的用户精心策划的数据上进行微调，可以显著改变结果模型的性质。通过在各种规划领域测试这种机制，我们观察到规划技能的显著改进，后续模型展现出新发现更长计划的紧急概括能力。然后，我们提供了理论分析，表明迭代部署有效地实现了强化学习（RL）训练在外部循环中（即不作为有意的模型训练的一部分），具有隐式奖励函数。与RL的联系有两个重要含义：首先，对于AI安全领域，由重复部署隐含的奖励函数并没有明确定义，可能对未来模型部署的性质产生意想不到的影响。其次，这里突出的机制可以被视为一种替代的训练方案，依赖于数据策划而不是明确的奖励。

更新时间: 2025-12-31 16:03:14

领域: cs.AI,cs.CL,cs.LG

下载: http://arxiv.org/abs/2512.24940v1