快速权重编程和线性变换器：从机器学习到神经生物学

于红博

摘要: 最近在机器学习和语言建模领域，人工神经网络取得了重大进展，建立了一类循环神经网络（RNN）架构。与传统的具有向量形式隐藏状态的RNN不同，这些循环神经网络采用了二维（2D）矩阵形式的隐藏状态。这种被称为快速权重程序员（FWPs）的2D状态RNN可以被解释为一个神经网络，其突触权重（称为快速权重）会随着时间动态变化，作为短期记忆存储；相应的突触权重修改由另一个网络（程序员）控制或编程，其参数通过梯度下降等方法进行训练。在本文中，我们回顾了FWPs的技术基础，它们的计算特征，以及与变压器和状态空间模型的联系。我们还讨论了FWPs与大脑中突触可塑性模型之间的联系，表明自然智能和人工智能的融合。

更新时间: 2025-12-31 12:20:34

领域: cs.LG,cs.AI,q-bio.NC

下载: http://arxiv.org/abs/2508.08435v3