在LLMs、MLLMs及更多模型中的模型合并：方法、理论、应用和机会

于红博

摘要: 模型合并是机器学习领域中一种高效的增强技术，不需要收集原始训练数据，也不需要昂贵的计算。随着模型合并在各个领域变得越来越普遍，全面了解可用的模型合并技术变得至关重要。然而，目前文献中存在一个重大空白，即对这些技术进行系统和全面的审查。本调查提供了模型合并方法和理论的全面概述，它们在各种领域和环境中的应用，以及未来的研究方向。具体来说，我们首先提出了一种新的分类方法，全面讨论了现有的模型合并方法。其次，我们讨论了模型合并技术在大型语言模型、多模态大型语言模型以及超过十个机器学习子领域中的应用，包括持续学习、多任务学习、少样本学习等。最后，我们强调了模型合并的剩余挑战，并讨论了未来的研究方向。关于模型合并的一系列论文可在https://github.com/EnnengYang/Aw ... eories-Applications 上找到。

更新时间: 2025-12-31 04:06:49

领域: cs.LG,cs.AI,cs.CL,cs.CV

下载: http://arxiv.org/abs/2408.07666v5