AdaDim：SSL表征动态的维度适应

于红博

摘要: 一个有效的自监督学习（SSL）中的关键因素是防止维度坍缩，即高维表示空间（$R$）跨越一个低维子空间。因此，SSL优化策略涉及引导模型通过鼓励特征去相关或在$R$中样本均匀性的目标来生成具有更高维度（$H(R)$）的$R$。较高的$H(R)$表示$R$具有更大的特征多样性，这对泛化到下游任务是有用的。除了维度优化外，SSL算法还利用一个将$R$映射到嵌入空间$Z$的投影头。最近的研究将投影头描述为通过减少互信息$I(R;Z)$来过滤SSL目标中的嘈杂或无关特征。因此，当前文献认为一个良好的SSL表示空间应具有高$H(R)$和低$I(R;Z)$。然而，这种对SSL的看法在理解影响这两个术语之间关系的基础训练动态方面存在不足。我们的分析表明，表现最佳的SSL模型既不具有最高的$H(R)$，也不具有最低的$I(R;Z)$，而是在两者之间有效地取得平衡。为了利用这一分析，我们引入了AdaDim，一种利用自适应平衡增加$H(R)$和逐渐对$I(R;Z)$进行正则化的SSL训练策略。尽管我们的方法没有利用昂贵的技术，如队列、聚类、预测网络或师生架构，但我们展示了与常见的SSL基线相比高达3%的性能改进。

更新时间: 2025-10-08 14:09:23

领域: cs.LG,cs.AI

下载: http://arxiv.org/abs/2505.12576v2