RegionMed-CLIP：用于医学图像理解的区域感知多模态对比学习预训练模型

于红博

摘要: 医学图像理解在实现自动化诊断和数据驱动的临床决策支持中起着至关重要的作用。然而，它的进展受到两个主要挑战的阻碍：高质量标注医学数据的有限可用性和对全局图像特征过度依赖，这经常会忽略细微但临床显著的病理区域。为了解决这些问题，我们引入了RegionMed-CLIP，这是一个区域感知的多模态对比学习框架，明确地融合了局部病理信号和整体语义表示。我们方法的核心是一种创新的感兴趣区域（ROI）处理器，它自适应地将细粒度的区域特征与全局语境整合，采用了一种增强分层多模态对齐的渐进训练策略。为了实现大规模的区域级表示学习，我们构建了MedRegion-500k，一个包含大量区域标注和多级临床描述的全面医学图像-文本语料库。在图像-文本检索、零样本分类和视觉问答任务上的大量实验表明，RegionMed-CLIP始终明显优于最先进的视觉语言模型。我们的结果突出了区域感知对比预训练的关键重要性，并将RegionMed-CLIP定位为推进多模态医学图像理解的坚实基础。

更新时间: 2025-09-19 09:46:41

领域: cs.CV,cs.AI

下载: http://arxiv.org/abs/2508.05244v2