STaMP：用于低精度激活量化的序列转换和混合精度

于红博

摘要: 量化是降低生成式人工智能模型推断延迟、功耗和内存占用的关键方法。然而，当激活值量化到八位以下时，准确性往往会急剧下降。最近的研究表明，可逆线性变换（例如旋转）可以帮助量化，通过重新参数化特征通道和权重。在本文中，我们提出了一种新颖的策略，称为\textit{序列变换和混合精度}（STaMP）量化，该策略沿着\textit{序列}维度应用线性变换，以利用语言和视觉数据中的强局部相关性。通过在每个中间激活中保留少量令牌以更高精度表示，我们可以在较低（平均）激活位宽下保持模型准确性。我们在最近的LVM和LLM架构上评估了STaMP，表明它显著改善了低位宽激活量化，并补充了已建立的激活和权重量化方法，包括最近的特征变换。

更新时间: 2025-10-30 17:53:42

领域: cs.LG,cs.AI

下载: http://arxiv.org/abs/2510.26771v1