通过FP16击败训练-推断不匹配

于红博

摘要: 强化学习（RL）对大型语言模型（LLMs）进行微调往往由于训练和推理策略之间的数值不匹配而出现不稳定性。尽管先前的工作已经尝试通过算法修正或工程对齐来缓解这个问题，但我们发现其根本原因在于浮点精度本身。尽管BF16被广泛采用，但由于其大的动态范围引入了大的舍入误差，破坏了训练和推理之间的一致性。在这项工作中，我们展示了简单地回到FP16有效消除了这种不匹配。这种改变简单易行，在现代框架中完全支持，只需几行代码修改，无需对模型架构或学习算法进行修改。我们的结果表明，使用FP16可以在各种任务、算法和框架中实现更稳定的优化、更快的收敛速度和更强的性能。我们希望这些发现能够激发人们对RL微调中精度权衡的更广泛重新考虑。

更新时间: 2025-10-30 17:58:11

领域: cs.LG,cs.AI,cs.CL

下载: http://arxiv.org/abs/2510.26788v1