超越邻域的注意力：重新激活Transformer用于图聚类

于红博

摘要: 注意机制已经成为现代神经网络的基石，在各个领域推动了突破。然而，在图结构化数据中，捕捉拓扑连接是至关重要的，但与图神经网络相比，其应用仍未得到充分探索并表现不佳，特别是在图聚类任务中。图神经网络倾向于过分强调邻域聚合，导致节点表示的同质化。相反，Transformer倾向于过度全局化，强调远距离节点，而牺牲了有意义的局部模式。这种二元对立引发了一个关键问题：注意力在无监督图学习中固有多余吗？为了解决这个问题，我们进行了全面的实证分析，揭示了图神经网络和Transformer在图聚类中互补性的弱点。受到这些见解的启发，我们提出了一种新颖的架构——关注图聚类网络（AGCN），重新解释了图是注意力的概念。AGCN直接将注意机制嵌入到图结构中，实现了有效的全局信息提取，同时保持对局部拓扑线索的敏感性。我们的框架结合了理论分析，将AGCN的行为与图神经网络和Transformer进行对比，并引入了两项创新：（1）KV缓存机制以提高计算效率，（2）一对一边缘对比损失以增强注意空间的区分能力。大量实验证明，AGCN优于最先进的方法。

更新时间: 2025-09-18 14:51:13

领域: cs.LG,cs.AI,cs.NI

下载: http://arxiv.org/abs/2509.15024v1