将模型合并的任务特定特征进行叠加

于红博

摘要: 模型合并可以在神经网络中实现强大的功能，而无需额外的训练。在本文中，我们通过利用神经网络表示的基本机制，引入了一个关于模型合并的新视角。我们的方法受到线性表示假设的启发，该假设认为神经网络通过特征向量的线性组合来编码信息。我们提出了一种将各个模型的任务特定特征叠加到一个合并模型中的方法。我们的方法具体针对线性变换矩阵，这对于深度网络中的特征激活和提取至关重要。通过将合并过程形式化为一个线性系统，我们可以保留各个模型的任务特定特征，并创建出能够有效保持多任务能力的合并模型，相较于现有方法。跨不同基准和模型的大量实验表明，我们的方法优于现有技术。代码可在https://github.com/LARS-research/STF 上找到。

更新时间: 2025-09-18 09:17:25

领域: cs.LG,cs.AI

下载: http://arxiv.org/abs/2502.10698v2