多模态适应和泛化的进展：从传统方法到基础模型

于红博

摘要: 在现实世界的情景中，实现领域自适应和泛化面临着重大挑战，因为模型必须适应或泛化到未知的目标分布。将这些能力扩展到未见过的多模态分布，即多模态领域自适应和泛化，由于不同模态的特点不同，更具挑战性。多年来取得了显著进展，应用范围从动作识别到语义分割。此外，最近出现的大规模预训练多模态基础模型，如CLIP，已经启发了利用这些模型来增强自适应和泛化性能或将它们调整到下游任务。本调查从传统方法到基础模型的最新进展提供了首次全面回顾，涵盖了：（1）多模态领域自适应；（2）多模态测试时间自适应；（3）多模态领域泛化；（4）借助多模态基础模型进行领域自适应和泛化；以及（5）多模态基础模型的自适应。对于每个主题，我们正式定义问题并彻底审查现有方法。此外，我们分析相关数据集和应用，突出展示开放挑战和潜在未来研究方向。我们维护一个包含最新文献的活跃存储库，网址为https://github.com/donghao51/Awesome-Multimodal-Adaptation。

更新时间: 2025-09-19 11:58:01

领域: cs.CV,cs.AI,cs.LG,cs.RO

下载: http://arxiv.org/abs/2501.18592v4