探索图变换器中的全局到局部注意机制：实证研究

于红博

摘要: 图形变压器（GTs）在图表示学习中显示出相当大的潜力。GTs的架构通常将图神经网络（GNNs）与全局注意机制集成在一起，要么并行，要么作为注意机制的先导，从而产生本地和全局或本地到全局的注意方案。然而，由于全局注意机制主要捕捉节点之间的长距离依赖关系，这些集成方案可能会受到信息丢失的影响，其中GNN学习的本地邻域信息可能会被注意机制稀释。因此，我们提出了G2LFormer，具有一种新颖的全局到本地注意方案，其中浅层网络层使用注意机制捕获全局信息，而深层则使用GNN模块学习本地结构信息，从而防止节点忽视其直接邻居。引入了一种有效的跨层信息融合策略，允许本地层保留全局层的有益信息，并减轻信息丢失，具有可接受的可扩展性折衷。为了验证全局到本地注意方案的可行性，我们将G2LFormer与最先进的线性GTs和GNNs在节点级和图级任务上进行了比较。结果表明，G2LFormer表现出优秀的性能，同时保持线性复杂性。

更新时间: 2025-09-18 11:30:50

领域: cs.LG,cs.AI

下载: http://arxiv.org/abs/2509.14863v1