揭秘LLM层在检索、知识和推理中的作用

于红博

摘要: 最近的研究表明，大型语言模型（LLMs）的深层往往对表示学习贡献不大，经常可以移除而不会有显著的性能损失。然而，这样的断言通常来自狭窄的评估，并可能忽视模型行为的重要方面。在这项工作中，我们对不同维度的深度利用进行了系统研究，包括评估协议、任务类别和模型架构。我们的分析证实，非常深的层通常比早期的层效果差，但它们的贡献在评估设置中差异很大。在基于似然度的度量标准下，不生成的情况下修剪大多数层会保持性能，只有最初的几层是关键的。相比之下，基于生成的评估揭示了中间和深层在启用推理和保持长距离连贯性方面的不可或缺的作用。我们进一步发现，知识和检索集中在浅层组件中，而推理准确性严重依赖于更深层次，但可以通过蒸馏进行重塑。这些结果强调了LLMs中深度使用的高度异质性和依赖于上下文，强调了在解释和压缩大型模型时需要考虑任务、度量和模型意识。

更新时间: 2025-10-30 13:22:53

领域: cs.AI

下载: http://arxiv.org/abs/2510.02091v2