黎曼批量归一化：一种陀螺仪方法

于红博

摘要: 规范化层对于深度学习至关重要，但它们的欧几里得形式对于流形上的数据是不足的。另一方面，机器学习中许多黎曼流形具有陀螺结构，使得欧几里得神经网络能够被合理地扩展到非欧几里得域。受此启发，我们引入了GyroBN，一个基于陀螺群的合理黎曼批量归一化框架。我们建立了两个必要条件，即\emph{伪降维}和\emph{陀螺等距转动}，确保GyroBN对样本统计具有理论控制，并展示了这些条件对于机器学习中所有已知的陀螺群都成立。我们的框架还将几种现有的黎曼规范化方法作为特例。我们进一步在七种代表性几何结构上实例化了GyroBN，包括Grassmannian、五个常曲率空间和相关流形，并推导了新颖的陀螺和黎曼结构以实现这些实例化。跨越这些几何结构的实验证明了GyroBN的有效性。代码可在https://github.com/GitZH-Chen/GyroBN.git上找到。

更新时间: 2025-09-19 17:45:21

领域: cs.LG,cs.AI

下载: http://arxiv.org/abs/2509.07115v2