通过头尾再平衡抵消LVLMs自我改进中的马太效应

于红博

摘要: 自我提升已经成为推进大型视觉语言模型（LVLMs）推理能力的主流范式，其中模型通过迭代地探索和学习成功的轨迹。然而，在这个过程中我们发现了一个关键问题：模型在生成简单查询（即头数据）的高质量轨迹方面表现出色，但在处理更复杂的查询（即尾数据）时遇到困难。这导致了一个不平衡的优化，驱使模型优先考虑简单的推理能力，同时阻碍其处理更复杂推理任务的能力。随着迭代次数的增加，这种不平衡变得越来越明显--我们称之为“马太效应”--最终阻碍了模型进一步改进，并导致性能瓶颈。为了克服这一挑战，我们从分布重塑和轨迹重采样的两个角度引入了四种有效策略，以在探索学习自我提升过程中实现头尾重新平衡。在视觉推理任务上对Qwen2-VL-7B-Instruct和InternVL2.5-4B模型进行的大量实验表明，我们的方法始终能够提高视觉推理能力，平均优于普通的自我提升3.86个点。

更新时间: 2025-10-30 13:26:58

领域: cs.CV,cs.AI,cs.CL,cs.LG

下载: http://arxiv.org/abs/2510.26474v1