动态正交持续微调以减轻灾难性遗忘

于红博

摘要: 灾难性遗忘仍然是大型语言模型（LLMs）在持续学习中面临的重要挑战，模型在不访问过去数据集的情况下，在新的顺序数据上微调时很难保持对历史任务的性能。在本文中，我们首先揭示了在微调过程中功能方向漂移是现有基于正则化方法在长期LLM持续学习中失败的关键原因。为了解决这个问题，我们提出了一种新颖的方法，即动态正交持续（DOC）微调，该方法跟踪这些功能方向的漂移，并在微调过程中动态更新它们。此外，通过调整新任务参数的梯度使其与历史功能方向正交，我们的方法减轻了新旧任务之间的干扰。对各种LLM持续学习基准的大量实验表明，这种方法优于先前的方法，有效减少了灾难性遗忘，并为连续的LLM微调提供了一个稳健的工具。我们的代码可以在https://github.com/meloxxxxxx/DOC找到。

更新时间: 2025-09-28 13:55:05

领域: cs.LG,cs.AI,cs.CL,cs.CR,math.OC

下载: http://arxiv.org/abs/2509.23893v1