大型语言模型中关系解码线性算子的结构

于红博

摘要: 这篇论文研究了Hernandez等人[2023]引入的线性算子的结构，这些算子在变压器语言模型中解码特定的关系事实。我们将他们的单关系发现扩展到一组关系，并系统地绘制它们的组织结构。我们展示了这种关系解码器的集合可以通过简单的三阶张量网络高度压缩，而在解码准确性上并没有显著损失。为了解释这种令人惊讶的冗余性，我们开发了一个交叉评估协议，在此协议中，我们将每个线性解码算子应用于其他每个关系的主语。我们的结果显示，这些线性映射并不编码不同的关系，而是提取重复出现的、粗粒度的语义属性（例如，首都的国家和食物的国家都在X的国家属性中）。这种基于属性的结构阐明了这些算子的可压缩性，也突出了它们只能泛化到语义上接近的新关系的原因。因此，我们的发现将变压器语言模型中的线性关系解码解释为主要基于属性，而不是关系特定的。

更新时间: 2025-10-30 14:36:09

领域: cs.CL,cs.AI,cs.LG

下载: http://arxiv.org/abs/2510.26543v1