水印扩散语言模型

于红博

摘要: 我们介绍了专门为扩散语言模型（DLMs）设计的第一个水印，这是一种新兴的LLM范式，能够以任意顺序生成标记，与标准的自回归语言模型（ARLMs）相反，后者是按顺序生成标记的。尽管在ARLM水印方面已经做了很多工作，但在尝试将这些方案直接应用于DLM设置时的一个关键挑战是，它们依赖于先前生成的标记，而在DLM生成中并不总是可用。在这项工作中，我们通过：（i）即使某些上下文标记尚未确定，也在期望中应用水印，并（ii）促进增强水印强度的标记，当作为其他标记的上下文时。在保持水印检测器不变的情况下完成了这一任务。我们的实验评估表明，DLM水印导致>99％的真正阳性率，对质量影响最小，并实现了与现有ARLM水印类似的鲁棒性，这是首次实现可靠的DLM水印。

更新时间: 2025-09-29 07:11:40

领域: cs.LG,cs.AI,cs.CR

下载: http://arxiv.org/abs/2509.24368v1