走向深度学习和大脑物理学

于红博

摘要: 深度神经网络和大脑都学习并分享表面相似性：处理节点被比作神经元，可调节的权重被比作可改变的突触。但是否可以找到一个统一的理论框架来支持它们？在这里，我们展示了用于描述大脑中神经元雪崩的方程也可以应用于深度神经网络中的活动级联。这些方程源自非平衡统计物理学，并显示出深度神经网络在吸收和活跃阶段之间学习最佳。然而，由于这些网络受输入驱动强烈，它们并不在真正的临界点操作，而是在准临界区域内操作 -- 这仍大致符合爆裂噪声放大关系。通过训练具有不同初始化的网络，我们展示了最大敏感性比接近临界点本身更可靠地预测学习。这为改进网络性能提供了蓝图。最后，通过有限尺度缩放，我们确定了不同的普适性类别，包括巴克豪森噪声和有向渗透。这个理论框架表明生物和人工神经网络共享普遍特征。

更新时间: 2025-09-26 17:59:57

领域: cond-mat.dis-nn,cond-mat.stat-mech,cs.AI,nlin.AO,physics.bio-ph

下载: http://arxiv.org/abs/2509.22649v1