大规模预训练数据集并不总是在微调后保证稳健性

于红博

摘要: 大规模预训练模型被广泛用作学习新专业任务的基础，通过微调来实现，其目标是在保持模型的一般性能的同时使其获得新的技能。所有这些模型的一个重要目标是鲁棒性：在分布外（OOD）任务上表现良好的能力。我们评估微调是否保持了预训练模型的整体鲁棒性，并观察到在大型数据集上预训练的模型表现出强大的灾难性遗忘和OOD泛化丢失。为了系统评估微调模型中的鲁棒性保持情况，我们提出了Robustness Inheritance Benchmark（ImageNet-RIB）。这一基准可以应用于任何预训练模型，由一组相关但不同的OOD（下游）任务组成，涉及对该组中的一个OOD任务进行微调，然后在其余任务上进行测试。我们发现，虽然持续学习方法有所帮助，但微调会降低预训练模型的鲁棒性。令人惊讶的是，在最大和最多样化的数据集上预训练的模型（如LAION-2B）相对于在较小数据集上微调后，不仅表现出更大的鲁棒性损失，而且绝对鲁棒性更低。这些发现表明，从最强大的基础模型开始并不一定是在专业任务上表现最好的方法。

更新时间: 2025-09-26 17:57:05

领域: cs.CV,cs.AI

下载: http://arxiv.org/abs/2410.21582v3