DSDE：具有KLD稳定性的实际服务的动态推测解码

于红博

摘要: 推测解码加速大型语言模型推理，但其依赖于固定的推测长度在具有多样化请求的大批量服务环境中并不理想。本文探讨了一种新的动态适应方向，通过研究一种新颖的事后诊断信号类别。我们提出了动态推测解码引擎（DSDE），这是一个无需训练的框架，由两个主要组件构成：基于Kullback-Leibler（KLD）散度方差的预测信号，用于诊断生成的区域稳定性，以及自适应推测长度上限，以减轻每个序列解码中的滞后问题。实验表明，使用基于KLD的稳定性信号进行动态适应具有潜力。由这些信号指导的算法实现了与领先基线相竞争的端到端延迟，并在多样化工作负载中表现出更优越的鲁棒性。这种鲁棒性在具有挑战性的低接受率区域尤为宝贵，其中提出的信号保持其诊断效用。总体而言，这些发现验证了事后信号作为构建更鲁棒和智能的LLM推理系统的有价值组成部分，并强调了未来研究动态推测长度适应的有希望方向。

更新时间: 2025-10-30 02:05:44

领域: cs.DC,cs.AI,cs.IT,math.IT,I.2.7; C.2.4

下载: http://arxiv.org/abs/2509.01083v3