DaGRPO：通过区分感知组相对策略优化来纠正推理中的梯度冲突

于红博

摘要: 大型语言模型（LLMs）的演变已经引发了从表面指令遵循到严格的长期推理的范式转变。虽然集团相对政策优化（GRPO）已经成为引发这种训练后推理能力的关键机制，因为其出色的性能，但它仍然受到显著的训练不稳定性和样本效率低的困扰。我们在理论上确定了这些问题的根本原因是在政策演出中缺乏独特性：对于常规查询，高度同质的样本会引起破坏性的梯度冲突；而对于困难查询，有效正样本的稀缺导致优化无效。为了填补这一差距，我们提出了Distinctiveness-aware Group Relative Policy Optimization（DaGRPO）。DaGRPO包含两个核心机制：（1）序列级梯度校正，利用细粒度的评分动态屏蔽具有低独特性的样本对，从而消除源头的梯度冲突；和（2）离线数据增强，引入高质量的锚点，以恢复具有挑战性任务的训练信号。对9个数学推理和分布外（OOD）泛化基准的广泛实验表明，DaGRPO明显优于现有的SFT、GRPO和混合基线，实现了新的最先进性能（例如，在数学基准上平均准确率增加了+4.7%）。此外，深入分析确认了DaGRPO有效地缓解了梯度爆炸，并加速了长链推理能力的出现。

更新时间: 2025-12-31 10:30:42

领域: cs.AI

下载: http://arxiv.org/abs/2512.06337v2