茧：一种用于具有相关噪声的差分私密训练的系统架构

于红博

摘要: 机器学习（ML）模型记忆并泄漏训练数据，给数据所有者带来严重的隐私问题。使用差分隐私（DP）的训练算法，如DP-SGD，作为解决方案已经引起了关注。然而，DP-SGD在每次训练迭代中添加噪音，会降低训练模型的准确性。为了提高准确性，一种新的方法家族添加了精心设计的相关噪音，以便在迭代中相互抵消噪音。我们进行了对这些新机制的广泛表征研究，据我们所知，这是首次，并展示了当模型较大或使用大型嵌入表时，它们会产生不可忽略的开销。在分析的基础上，我们提出了Cocoon，一个硬件软件协同设计框架，用于有效训练相关噪音。Cocoon通过预先计算和存储相关噪音的融合格式（Cocoon-Emb）来加速具有嵌入表的模型，并通过自定义近存储处理设备（Cocoon-NMP）来支持大型模型。在一个带有基于FPGA的NMP设备原型的真实系统上，Cocoon可以提高性能2.33-10.82倍（Cocoon-Emb）和1.55-3.06倍（Cocoon-NMP）。

更新时间: 2025-10-08 17:56:30

领域: cs.AR,cs.AI,cs.CR,cs.LG

下载: http://arxiv.org/abs/2510.07304v1