FlowRL：匹配LLM推理的奖励分布

于红博

摘要: 我们提出了FlowRL：通过流平衡匹配完整奖励分布，而不是在大型语言模型（LLM）强化学习（RL）中最大化奖励。最近的高级推理模型采用最大化奖励的方法（如PPO和GRPO），这些方法往往过度优化主导奖励信号，同时忽略不太频繁但有效的推理路径，从而降低多样性。相反，我们使用可学习的分区函数将标量奖励转换为归一化目标分布，然后最小化策略与目标分布之间的反向KL散度。我们将这个想法实现为一个流平衡的优化方法，促进多样化的探索和可推广的推理轨迹。我们在数学和代码推理任务上进行实验：FlowRL在数学基准测试中平均提高了10.0％，优于GRPO的5.1％，并在代码推理任务上表现更好。这些结果突显了奖励分布匹配作为LLM强化学习中有效探索和多样化推理的关键步骤。

更新时间: 2025-09-18 17:56:36

领域: cs.LG,cs.AI,cs.CL

下载: http://arxiv.org/abs/2509.15207v1