当猜测泄露秘密：通过LLMs中的猜测解码的侧信道

于红博

摘要: 大型语言模型（LLMs）通常依赖于投机解码，这是一种并行生成和验证多个候选标记的技术，以提高吞吐量和延迟。在这项工作中，我们揭示了一个新的侧信道，通过监视每次迭代的标记计数或数据包大小，可以推断出依赖于输入的正确和错误猜测模式。我们证明，观察这些模式的对手可以在四种投机解码方案中，REST（100％），LADE（高达92％），BiLD（高达95％）和EAGLE（高达77.6％）中以>90％的准确率对用户查询进行指纹识别，并泄露用于预测的机密数据存储内容，泄露速率超过25个标记/秒。我们在研究原型和生产级vLLM服务框架中评估了这些侧信道攻击。为了防御这些攻击，我们提出并评估了一系列缓解措施，包括数据包填充和迭代式令牌聚合。

更新时间: 2025-09-26 23:28:00

领域: cs.CL,cs.AI,cs.CR,cs.DC,cs.LG

下载: http://arxiv.org/abs/2411.01076v3