激励学习语言的硕士生自行验证他们的答案

于红博

摘要: 大型语言模型（LLMs）通过后训练和测试时间的扩展规律在复杂推理任务中取得了显著进展。尽管普遍的测试时间扩展方法通常是通过使用外部奖励模型来引导模型生成过程，但我们发现，当在特定推理任务上进行后训练的模型扩展时，只能获得边际收益。我们确定有限的改进源于特定后训练生成器和一般奖励模型之间的分布差异。为了解决这个问题，我们提出了一个框架，激励LLMs自我验证其自己的答案。通过将答案生成和验证统一在一个单一的强化学习（RL）过程中，我们训练出可以有效评估自己解决方案正确性的模型。训练好的模型可以在推理时间通过验证自己的生成来提高性能，而无需外部验证器。我们基于Qwen2.5-Math-7B和DeepSeek-R1-Distill-Qwen-1.5B训练我们的自我验证模型，展示它们在不同推理上下文长度上的能力。在多个数学推理基准上的实验表明，我们的模型不仅可以改善后训练性能，还可以实现有效的测试时间扩展。

更新时间: 2025-10-30 14:45:40

领域: cs.LG,cs.AI

下载: http://arxiv.org/abs/2506.01369v2