RLinf：通过宏观到微观流转变实现灵活高效的大规模强化学习

于红博

摘要: 强化学习（RL）已经展示出在推动人工智能、智能代理和具身智能方面具有巨大潜力。然而，RL工作流程的固有异质性和动态性往往导致现有系统上的低硬件利用率和训练速度较慢。在本文中，我们提出了RLinf，这是一个基于我们的主要观察结果的高性能RL训练系统，该观察结果是高效RL训练的主要障碍在于系统的灵活性。为了最大化灵活性和效率，RLinf建立在一种称为宏观到微观流转换（M2Flow）的新型RL系统设计范式之上，该范式自动将高层、易于组合的RL工作流程在时间和空间维度上分解，并重新组合为优化的执行流。通过RLinf工作人员的自适应通信能力，我们设计了上下文切换和弹性流水线技术来实现M2Flow转换，并通过基于分析的调度策略生成最佳执行计划。对推理RL和具身RL任务的广泛评估表明，RLinf始终优于最先进的系统，在端到端训练吞吐量上实现了1.1倍至2.13倍的加速。

更新时间: 2025-09-19 13:24:17

领域: cs.LG,cs.AI,cs.DC

下载: http://arxiv.org/abs/2509.15965v1