分布对齐解码用于高效LLM任务适应

于红博

摘要: 将十亿参数的语言模型调整到下游任务仍然是昂贵的，即使采用参数高效微调（PEFT）也是如此。我们将任务适应重新构建为输出分布对齐：目标是在解码过程中直接将输出分布引导向任务分布，而不是通过权重更新间接引导。基于这一观点，我们引入了Steering Vector Decoding（SVD），这是一种轻量级、与PEFT兼容且在理论上有基础的方法。我们首先进行短暖启动微调，并从预热和预先训练模型的输出分布之间的Kullback-Leibler（KL）散度梯度中提取一个任务感知的引导向量。然后使用这个引导向量来引导解码过程，将模型的输出分布引导向任务分布。我们在理论上证明了SVD与完全微调的梯度步骤是一阶等价的，并为引导向量的强度提供了全局最优解。在三个任务和九个基准测试中，搭配四种标准PEFT方法的SVD能够将多项选择准确度提高最多5个百分点，开放式真实性提高2个百分点，并在常识数据集上实现类似的增益（1-2个百分点）而不增加PEFT适配器以外的可训练参数。因此，SVD为大型语言模型提供了一条轻量级、在理论上有基础的更强任务适应路径。

更新时间: 2025-09-19 11:35:56

领域: cs.CL,cs.AI

下载: http://arxiv.org/abs/2509.15888v1