关于表示的几何和拓扑：模加法的流形

于红博

摘要: 时钟和比萨解释与架构相关联，这些架构在统一或可学习的注意力方面有所不同，旨在说明不同的架构设计可以产生用于模块化加法的不同电路。在这项工作中，我们展示了这并非如此，无论是统一注意力还是可训练的注意力架构都通过拓扑和几何等价表示实现了相同的算法。我们的方法超越了对单个神经元和权重的解释。相反，我们确定了与每个学习表示对应的所有神经元，然后将研究这个神经元集体作为一个实体。这种方法揭示了每个学习表示是一个我们可以利用拓扑工具研究的流形。基于这一认识，我们可以统计分析跨数百个电路学习到的表示，以展示从常见的深度学习范式中自然产生的学习模块化加法电路之间的相似性。

更新时间: 2025-12-31 18:53:19

领域: cs.LG

下载: http://arxiv.org/abs/2512.25060v1