非凸形式的异构联邦学习中的过空中传输：偏差-方差权衡

于红博

摘要: 无线联邦学习（FL）已被广泛认可为一种可扩展的范例，利用无线多址接入信道的波形叠加来在单次使用中聚合模型更新。现有的无线联邦学习设计主要通过假设\emph{同质}无线环境（设备之间的路径损耗相等）或强制零偏置更新来保证收敛。然而，在\emph{异质}无线环境下，这样的设计受到最弱设备的限制，并且会增加更新的方差。此外，先前对有偏无线联邦学习的分析主要涉及凸目标，而大多数现代人工智能模型是高度非凸的。受到这些差距的启发，我们研究了在无线异质环境下用随机梯度下降（SGD）进行一般平滑非凸目标的无线联邦学习。我们开发了一种新颖的OTA-FL SGD更新，允许有结构化、时不变的模型偏置，同时促进降低方差的更新。我们推导了一个有限时间稳定性界限（期望时间平均平方梯度范数），明确显示了偏置-方差的权衡。为了优化这种权衡，我们提出了一个非凸联合OTA功率控制设计，并开发了一种高效的连续凸逼近（SCA）算法，只需要在基站处的统计CSI。在一个非凸图像分类任务上的实验验证了这种方法：基于SCA的设计通过优化偏置加速了收敛速度，并提高了相比先前OTA-FL基线的泛化能力。

更新时间: 2025-10-30 17:22:57

领域: cs.LG,cs.AI,cs.DC,cs.SY,eess.SP,eess.SY

下载: http://arxiv.org/abs/2510.26722v1