学习而非学习：用于生成语言模型的迭代式非学习框架

于红博

摘要: 最近在机器学习领域取得了重大进展，特别是在自然语言处理（NLP）方面，已经产生了在庞大数据集上训练的强大模型。然而，这些模型存在泄露敏感信息的风险，引发了隐私问题。作为对此的回应，诸如欧洲联盟的《通用数据保护条例》（GDPR）等监管措施推动了对机器学习遗忘技术的日益关注，这些技术使模型能够选择性地忘记特定数据条目。早期的遗忘方法主要依赖于预处理方法，而最近的研究已经转向基于训练的解决方案。尽管它们有效，但存在一个关键限制：大多数方法需要访问原始训练数据，而这些数据通常无法获得。此外，直接应用遗忘技术会削弱模型的表现能力。为了解决这些挑战，我们引入了迭代对比遗忘（ICU）框架，包括三个核心组件：一个知识遗忘感应模块，设计用于使用遗忘损失去除特定知识；一个对比学习增强模块，以防止模型的表现能力受到纯遗忘目标的影响；以及一个迭代遗忘精化模块，通过持续评估和更新动态调整遗忘过程。实验结果表明，我们的ICU方法在遗忘敏感信息的同时保持模型整体性能的有效性，为注重隐私的机器学习应用提供了一个有前途的解决方案。

更新时间: 2025-09-18 14:01:29

领域: cs.LG,cs.AI,cs.CL

下载: http://arxiv.org/abs/2407.20271v5