BEFT：偏差高效的语言模型微调

于红博

摘要: 在各种参数高效调整（PEFT）技术中，微调所有偏差项在低数据环境中表现出色，这归功于其开箱即用性和竞争性能，偏差仅微调具有前所未有的参数效率潜力。然而，微调不同的偏差项（即查询、键或值投影中的偏差项）与下游性能之间的联系仍不清楚。现有方法，例如基于偏差变化的大小或经验费舍尔信息，对于选择有效微调的特定偏差项提供了有限的指导。在本文中，我们提出了一种选择要微调的偏差项的方法，构成了我们的偏差高效微调（BEFT）的基础。我们对我们的偏差高效方法与其他偏差选择方法进行了广泛评估，涵盖了从110M到6.7B参数的各种大型语言模型（LLMs），包括仅编码器和仅解码器架构。我们的结果表明，在包括分类、多选和生成任务在内的各种下游任务上，我们的偏差高效方法的有效性和优越性。

更新时间: 2025-09-19 13:35:07

领域: cs.CL,cs.AI,cs.LG

下载: http://arxiv.org/abs/2509.15974v1