简单上下文压缩：均值池化和多比率训练

于红博

摘要: 一种降低使用大型语言模型（LLMs）进行检索增强生成（RAG）时长上下文的计算成本的常见策略是软上下文压缩，其中输入序列转换为较短连续表示。我们开发了一种轻量级和简单的均值池化方法，始终优于广泛使用的压缩令牌架构，并研究训练相同的压缩器以输出多个压缩比。我们进行了广泛的实验，涵盖领域内外的问答数据集，以及不同模型系列、规模和压缩比。总体而言，我们的简单均值池化方法实现了最强的性能，在训练多个压缩比时有相对较小的下降。然而，从更广泛的角度来看，跨架构和训练制度，权衡更加微妙，说明了压缩方法的复杂景观。

更新时间: 2025-10-23 17:57:23

领域: cs.CL,cs.AI,cs.LG

下载: http://arxiv.org/abs/2510.20797v1