心智健身房：思维为中心的微调中问题合成的重要性是什么？

于红博

摘要: 大型基础模型在获取可转移的、结构化的思维能力方面面临挑战，尤其是在受到严格模板或众包注释的指导数据集时。与先前方法不同，我们专注于一种以思维为中心的数据合成范式，使模型能够通过自动生成的、认知引导的数据不断演化。我们提出了MindGYM，一个结构化且可扩展的问题合成框架，由以下部分组成：（1）认知思维过程注入，将高级推理目标注入以塑造模型的合成行为；（2）种子单跳问题合成，从不同语义类型生成原子问题以鼓励更广泛的思考；以及（3）具有挑战性的多跳QA合成，基于QA种子组成更复杂的多跳问题以进行更深入的推理。详细分析显示，我们的方法生成的合成数据比基准来源的质量平均提高了16.7%，质量方差降低了67.91%，突显了高质量和自包含数据对于有效的、以思维为中心的微调至关重要。MindGYM在六个推理基准测试中提高了性能，仅使用400个数据样本在MathVision上取得了高达16%的增益，并在不同模型大小和架构上实现了可推广的改进。MindGYM强调了自我挑战机制在改进大型模型能力的同时最小化人为干预和资源需求的可行性。我们发布了代码和数据，以推动以数据为中心的研究，探索由内部推理能力驱动的自我进化基础模型。

更新时间: 2025-10-30 10:21:42

领域: cs.CV,cs.AI,cs.CL

下载: http://arxiv.org/abs/2503.09499v3