通过噪声实现噪声鲁棒性：具有毒化专家的不对称LoRA适应

于红博

摘要: 目前用于调整预训练语言模型以适应下游任务的参数高效微调方法容易受到嘈杂数据的干扰。传统的噪声处理方法要么依赖繁琐的数据预处理，要么采用容易积累错误的模型架构修改。与现有的噪声处理范式相反，我们提出了一种通过不对称LoRA中毒专家（LoPE）实现噪声鲁棒调整的方法，这是一个增强模型对噪声的鲁棒性的新框架，仅使用生成的嘈杂数据。受到专家混合架构的启发，LoPE在不对称LoRA配置中策略性地集成了一个专用的中毒专家。通过两阶段范式，LoPE在微调过程中对中毒专家进行噪声注入，以增强其对噪声的区分和处理能力。在推理过程中，我们选择性地屏蔽专用中毒专家，以利用正常专家获取的纯净知识来实现噪声鲁棒的输出。大量实验证明，LoPE仅通过低成本的噪声注入就实现了强大的性能和鲁棒性，完全消除了数据清洗的需求。

更新时间: 2025-09-19 01:59:02

领域: cs.LG,cs.AI

下载: http://arxiv.org/abs/2505.23868v4