超越比特：用于极端量化的多信封双二进制因子分解

于红博

摘要: 对于大型语言模型（LLM）的极低比特量化，双二进制因子分解（DBF）具有吸引力，因为它能够在不牺牲准确性的情况下实现高效推理。然而，DBF的缩放参数过于限制性；在因子化出符号后，所有秩组件共享相同的幅度剖面，导致性能饱和。我们提出了多信封DBF（MDBF），它保留了一对共享的1位符号基础，但用秩-$l$信封替换单一信封。通过在信封组件之间共享符号矩阵，MDBF有效地保持了二进制载波，并利用有限的内存预算进行幅度表达。我们还引入了一个封闭形式的初始化和一个交替细化方法来优化MDBF。在LLaMA和Qwen系列中，MDBF在匹配的比特每重量情况下提高了困惑度和零射击准确性，同时保持了相同的部署友好推理原语。

更新时间: 2025-12-31 01:04:34

领域: cs.LG,cs.AI,cs.CL,stat.ML

下载: http://arxiv.org/abs/2512.24545v1