mHC：流形约束的超连接

于红博

摘要: 最近的研究，例如Hyper-Connections（HC），通过扩大残差流宽度和多样化连接模式，扩展了过去十年建立的普遍残差连接范式。虽然产生了可观的性能提升，但这种多样化基本上损害了残差连接固有的身份映射属性，导致严重的训练不稳定性和有限的可伸缩性，并且还带来显著的内存访问开销。为了解决这些挑战，我们提出了Manifold-Constrained Hyper-Connections（mHC），这是一个将HC的残差连接空间投影到特定流形上以恢复身份映射属性的通用框架，同时结合严格的基础设施优化以确保效率。经验实验证明，mHC对于规模化训练是有效的，提供了明显的性能改进和更优越的可伸缩性。我们预计，作为HC的灵活实用的扩展，mHC将有助于对拓扑架构设计的深入理解，并为基础模型的演进提出有前途的方向。

更新时间: 2025-12-31 14:16:26

领域: cs.CL,cs.AI,cs.LG

下载: http://arxiv.org/abs/2512.24880v1