一个基于凸性的深度神经网络双阶段训练算法

于红博

摘要: 机器学习的关键任务是最小化衡量模型拟合训练数据的损失函数。有效地执行这一任务的数值方法取决于损失函数的性质。其中最具决定性的性质之一是损失函数的凸性或非凸性。损失函数可能具有非凸区域的事实，导致广泛采用非凸方法，如Adam。然而，局部最小值意味着在其周围的某些环境中，函数是凸的。在这种环境中，类似共轭梯度（CG）的二阶最小化方法保证具有超线性收敛性。我们提出了一个基于假设的新框架，即现实任务中的损失函数从初始的非凸性向最优解处的凸性转变。这是我们利用的一个属性，用于设计一种创新的两阶段优化算法。该算法通过观察梯度范数对损失的依赖来检测转换点。在这些区域中，分别使用非凸（Adam）和凸（CG）算法。计算实验证实了这一简单凸性结构的假设是足够频繁的，可以实际利用来显著提高收敛性和准确性。

更新时间: 2025-10-30 08:16:40

领域: cs.LG,cs.AI,math.OC

下载: http://arxiv.org/abs/2510.25366v2