物理信息神经网络中的梯度对齐：二阶优化视角

于红博

摘要: 通过复合损失函数进行多任务学习是现代深度学习的基础，然而优化竞争目标仍然具有挑战性。我们提出了解决损失项之间方向冲突的新理论和实践方法，展示了它们在物理信息神经网络（PINNs）中的有效性，其中这种冲突特别难以解决。通过理论分析，我们展示了这些冲突如何限制一阶方法，并展示了二阶优化通过隐式梯度对齐自然解决这些冲突。我们证明了SOAP，一种最近提出的拟牛顿方法，有效地近似了Hessian预处理程序，实现了PINNs中的突破性性能：在10个具有挑战性的PDE基准测试中取得了最新的成果，包括首次成功应用于雷诺数高达10,000的湍流流动，与现有方法相比，精度提高了2-10倍。我们还引入了一种新颖的梯度对齐分数，将余弦相似性推广到多个梯度，为分析优化动态提供了实用工具。我们的研究结果建立了理解和解决梯度冲突的框架，对超越科学计算的优化具有广泛的影响。

更新时间: 2025-09-19 16:27:57

领域: cs.LG,cs.AI,physics.comp-ph

下载: http://arxiv.org/abs/2502.00604v2