在文本属性图中集成结构和语义信号与BiGTex

于红博

摘要: 文本属性图（TAGs）在表示学习中面临着独特的挑战，因为模型需要捕捉节点关联文本的语义丰富性和图的结构依赖性。虽然图神经网络（GNNs）擅长建模拓扑信息，但缺乏处理非结构化文本的能力。相反，大型语言模型（LLMs）擅长文本理解，但通常不了解图的结构。在这项工作中，我们提出了BiGTex（双向图文），一种通过堆叠图文融合单元紧密集成GNNs和LLMs的新型架构。每个单元允许文本和结构表示之间的相互关注，使信息可以双向流动，文本影响结构，结构指导文本解释。该提出的架构使用参数高效的微调（LoRA）进行训练，使LLM保持冻结状态，同时适应特定任务信号。对五个基准数据集的广泛实验证明，BiGTex在节点分类方面实现了最先进的性能，并有效地推广到链接预测。消融研究进一步强调了软提示和双向关注在模型成功中的重要性。

更新时间: 2025-10-23 17:06:25

领域: cs.CL,cs.AI

下载: http://arxiv.org/abs/2504.12474v3