引导模型合并用于混合数据学习：利用集中数据优化去中心化模型

于红博

摘要: 目前网络训练范式主要集中在集中式或分散式数据制度上。然而，在实践中，数据的可用性通常呈现混合性质，两种制度共存。这种混合设置为模型训练提供了新的机会，因为这两种制度提供了互补的权衡：分散式数据丰富但受到异质性和通信约束，而集中式数据虽然量有限且可能不具代表性，但能更好地进行筛选和高通量访问。尽管具有潜力，有效结合这些范式仍然具有挑战性，而且很少有针对混合数据制度的框架。为了解决这个问题，我们提出了一个新颖的框架，从分散式模型构建一个模型图谱，并利用集中式数据来完善这个结构化空间内的全局模型。然后使用精炼模型重新初始化分散式模型。我们的方法结合了联邦学习（利用分散式数据）和模型合并（利用集中式数据），实现了在混合数据可用性下的有效训练。从理论上讲，我们展示了我们的方法比仅依赖分散式数据的方法具有更快的收敛速度，这是由于合并过程中的方差减少。大量实验证明，我们的框架始终优于纯粹集中式、纯粹分散式和现有的混合适应方法。值得注意的是，我们的方法在集中式和分散式数据域不同时或分散式数据包含噪声时仍然保持稳健性，显著扩大了其适用范围。

更新时间: 2025-10-30 17:04:50

领域: cs.LG,cs.AI

下载: http://arxiv.org/abs/2503.20138v2