基于关注模式的关注控制（ASAC）：变压器中关注管理的认知启发方法

于红博

摘要: 注意机制已经成为人工智能中不可或缺的部分，通过借鉴人类认知，显著提高了模型的性能和可扩展性。与此同时，在认知科学中，注意模式理论（AST）认为个体通过创建注意力本身的模型来管理他们的注意力，有效地分配认知资源。受AST启发，我们引入了基于注意模式的注意控制（ASAC），将注意模式概念整合到人工神经网络中。我们的初始实验集中在将ASAC模块嵌入变压器架构中。该模块采用矢量量化变分自动编码器（VQVAE）作为注意力抽象器和控制器，促进精确的注意力管理。通过明确建模注意力分配，我们的方法旨在提高系统效率。我们展示了ASAC在视觉和自然语言处理领域的有效性，突出了其改善分类准确性和加速学习过程的能力。我们在各种数据集上进行的视觉变压器实验表明，注意力控制器不仅提高了分类准确性，还加速了学习。此外，我们已经证明了模型在嘈杂和超出分布数据集上的健壮性和泛化能力。此外，我们展示了在多任务设置中提高性能。快速实验表明，基于注意模式的模块增强了对对抗攻击的韧性，优化了注意力以提高学习效率，并促进了有效的迁移学习和从更少示例学习。这些令人鼓舞的结果在认知科学和机器学习之间建立了联系，阐明了在人工智能系统中有效利用注意机制的重要性。

更新时间: 2025-09-19 15:08:30

领域: cs.AI,cs.LG

下载: http://arxiv.org/abs/2509.16058v1