一步离线扩散模型的蒸馏：通过库普曼建模

于红博

摘要: 扩散基生成模型表现出卓越性能，但其迭代采样过程仍然计算昂贵。缓解这种成本的一种显著策略是蒸馏，离线蒸馏在效率、模块化和灵活性方面具有特殊优势。在这项工作中，我们确定了两个关键观察结果，激发了一个基于原则的蒸馏框架：(1)虽然扩散模型通过动力系统理论的视角进行了观察，但强大且未充分利用的工具可以进一步发挥作用；(2)扩散模型固有地在潜在空间中施加结构化、语义一致的轨迹。基于这些观察结果，我们引入了Koopman蒸馏模型(KDM)，这是一种基于Koopman理论的新颖离线蒸馏方法-一种经典的框架，用于在转换空间中线性表示非线性动态。KDM将嘈杂的输入编码到一个嵌入空间，其中一个学习的线性操作符将它们向前传播，然后是一个解码器，重建干净的样本。这使得单步生成同时保持语义的忠实性。我们为我们的方法提供了理论上的证明：(1)在温和假设下，学习的扩散动态允许有限维Koopman表示；(2)Koopman潜在空间中的接近性与生成的输出中的语义相似性相关，允许有效的轨迹对齐。KDM在标准离线蒸馏基准测试中取得了非常有竞争力的表现。

更新时间: 2025-10-23 17:59:57

领域: cs.LG,cs.AI

下载: http://arxiv.org/abs/2505.13358v3