不要让它消失：通过令牌时间步分配在扩散语言模型中保留编辑

于红博

摘要: 扩散语言模型（DLMs）虽然能够实现细粒度的精细调整，但其实际可控性仍然脆弱。我们确定并正式表征了一种称为更新遗忘的中心失败模式，其中均匀且与上下文无关的更新会在不同时间步骤中引起标记级波动，擦除先前的语义编辑并破坏累积的精炼过程，从而降低流畅度和连贯性。由于这种失败源于均匀且与上下文无关的更新，有效的控制需要明确的标记排序。我们提出了标记时间步分配（TTA），通过每个标记时间步调度实现软化和语义标记排序：关键标记在早期被冻结，而不确定的标记接受持续的精炼。这基于时间步的排序可以作为固定策略或由任务信号驱动的自适应策略来实现，从而支持广泛的精炼策略。因为它纯粹在推理时间内运行，它适用于各种DLM，并自然延伸到不同的监督来源。在实证上，TTA改善了可控性和流畅性：在情感控制方面，它提高了超过20％的准确性，并将困惑度减少了近五分之一的步骤；在解毒方面，它降低了最大毒性（12.2比14.5）和困惑度（26.0比32.0）。这些结果共同表明，通过时间步分配软化排序是减轻更新遗忘和实现稳定和可控扩散文本生成的关键杠杆。

更新时间: 2025-10-30 07:21:05

领域: cs.CL,cs.AI

下载: http://arxiv.org/abs/2510.26200v1