Fed-PISA: 通过个性化身份风格适应进行联邦语音克隆

于红博

摘要: 语音克隆用于文本转语音（TTS）旨在利用目标说话者的有限数据从文本生成富有表现力和个性化的语音。联邦学习（FL）为这一任务提供了一种协作和保护隐私的框架，但现有方法存在高通信成本，并且往往抑制风格多样性，导致个性化不足。为了解决这些问题，我们提出了Fed-PISA，即联邦个性化身份风格适应。为了最小化通信成本，Fed-PISA引入了一个解耦的低秩适应（LoRA）机制：通过私有ID-LoRA保留说话者的音色，只有轻量级的风格LoRA传输到服务器，从而最小化参数交换。为了利用多样性，我们引入了一个灵感来自协作过滤的聚合方法，通过从风格上相似的同行学习为每个客户端创建定制模型。实验表明，Fed-PISA提高了风格表现力、自然性和说话者相似度，优于标准的联邦基线，并且通信成本最小。

更新时间: 2025-09-19 14:24:45

领域: cs.SD,cs.AI,eess.AS

下载: http://arxiv.org/abs/2509.16010v1