让LRMs通过自动刹车调整摆脱过度思考

于红博

摘要: 大型推理模型（LRMs），如OpenAI o1和DeepSeek-R1，通过生成更长的思维链显著增强了它们的推理能力，在各种任务中表现出色。然而，这种性能提升是以在生成过程中冗余推理大幅增加为代价的，导致了高计算开销并加剧了过度思考的问题。虽然许多现有方法旨在解决过度思考的问题，但它们通常依赖于外部干预。在本文中，我们提出了一个新颖的框架，自我制动调整（SBT），从允许模型调节自己的推理过程的角度解决过度思考问题，从而消除了对外部控制机制的依赖。我们基于标准答案构建了一组过度思考识别指标，并设计了一种系统方法来检测冗余推理。这种方法准确识别了推理轨迹中的不必要步骤，并为学习自我调节行为生成训练信号。在此基础上，我们开发了一个完整的策略来构建具有自适应推理长度的数据，并引入了一种创新的制动提示机制，使模型能够自然地学习何时在适当时点终止推理。在数学基准测试（AIME、AMC、MATH500、GSM8K）中的实验表明，我们的方法将令牌消耗降低了高达60％，同时保持与无约束模型相当的准确性。

更新时间: 2025-10-30 02:36:10

领域: cs.CL,cs.AI

下载: http://arxiv.org/abs/2505.14604v4